Hadoop 的架构理解和相关扩展 - II，MapReduce
最编程
2024-04-21 12:41:21
...
1.MapReduce是什么
- 分布式计算。假设有300M统计文件中的单词出现次数，正常程序就可以；但是有T级别的统计文件则不能这样处理，所以使用分布式计算方式。
- 我们要数图书馆的书，你数1号书架，我数2号书架。这就是"Map"。我们人越多，数书就越快。
现在我们到一起，把所有人的统计数加在一起。这就是"Reduce"。
2.MapReduce编程模型
1.简单理解
- 图中，Input的每行数据在生产当中对应一个文件
- shuffle是将map中相同规则的数据放在一起
- reduce整合数据
2.两个节点进行分布式计算的过程
- InputFormat读取数据
- Split数据切片
- 通过RR[RecordReader]将数据读取进来
- 读进来的数据交给Mapper处理，输出临时结果
- 临时结果交给Partioner进行Shuffle
- Reduce处理
- 通过OutputFormat结果输出
3.设计构思
3.MapReduce代码过程
MapReduce的开发一共有八个步骤，其中Map阶段分为2个步骤，Shuffle4个，Reduce2个。
- ===== Map阶段
- 设置InputFormat类，将数据切分为Key-Value(K1和V1)对，输入到第二步
- 自定义Map逻辑，将第一步的结果转换成另外的Key-Value(K2和V2)对输出结果
- ===== Shuffle阶段
- 对输出的K-V对进行分区
- 对不同分区的数据按照相同的Key排序
- (可选)对分组过的数据初步规约，降低数据的网络拷贝
- 对数据进行分组，相同Key的Value放入一个集合中
- ===== Reduce阶段
- 对多个Map任务的结果进行排序以及合并，编写Reduce函数实现自己的逻辑，对输入的K-V进行处理，转为新的K-V输出
- 设置OutputFormat处理并保存Reduce输出的K-V数据
上一篇： 保姆 丨 Hadoop 部署
下一篇： 利用 Hadoop 构建现代电信企业架构
推荐阅读
-
Hadoop 运行模式 (II)、SSH 未加密登录配置、生成公钥和私钥、群集配置、群集部署规划、默认配置文件、核心配置文件、HDFS 配置文件、YARN 配置文件、MapReduce 配置文件、分发配置的
-
Hadoop 的架构理解和相关扩展 - II，MapReduce
-
Hadoop 技术内行对 MapReduce 架构设计和实施原则的深刻理解 pdf 下载
-
004 Hadoop 架构--HDFS、Yarn 和 MapReduce 的详细介绍
-
与 Hadoop 相关的技术框架和架构的演变方向和演变历史
-
openEuler郑州用户组成立！openEuler与hyperfusion携手共建河南地区用户生态 - 开幕致辞 超融合操作系统业务总经理、openEuler委员会成员蒋振华先生为本次活动致辞。 在本次活动的致辞中，他提到，作为openEuler社区早期的成员，超融合见证了openEuler从成立到在各行业商业落地，再到跨越生态拐点的过程，感谢openEuler提供了一个全产业链共同创新的平台，共同推动创新技术的商业落地。 同时，本次活动得到了郑州市郑东新区大数据管理局、郑州中原科技城投资服务局的大力支持。 郑东新区大数据管理局曹光远 在活动致辞中表示，openEuler的应用和*应用设施的深度优化，为郑东新区数字化转型提供了安全、可靠、高性能的技术基础；郑州中原科技城招商服务局王林表示，郑东新区欢迎所有openEuler生态相关企业扎根当地，围绕openEuler社区共同发展，形成合力。 openEuler社区及运维功能介绍 openEuler技术委员会委员胡峰 openEuler技术委员会委员胡峰先生在本次活动中介绍了openEuler社区目前发展的整体情况，并重点从技术层面介绍了openEuler的运维功能。 openEuler 晚会 胡峰先生介绍智能运维工具 A-Ops 和 openEuler gala、 阿波罗 Apollo、智能漏洞管理解决方案等新功能，以及涵盖各种运维场景的精品运维组件。在*交流环节，许多用户就目前使用的 openEuler 在*交流环节，许多用户就自己在使用openEuler过程中遇到的一些问题与胡峰先生进行了进一步的交流。 软硬结合，构建多样化算力操作系统 Hyperfusion 基于 openEuler 的基础上，结合自身软硬件技术积累，推出了富讯服务器操作系统 FusionOS FusionOS. FusionOS 首席架构师张海亮 分享了 FusionOS FusionOS首席架构师张海亮分享了FusionOS的软硬件协同优势、卓越的性能和可靠性，以及FusionOS在金融、运营商、*、互联网等行业的实践案例，引起了众多用户的兴趣，分享结束后，不少参会者就FusionOS的特点向讲师提问并进行了交流。
-
基于 NFC 的无线电池管理 BMS - ● 主动读取内部传感器：利用 NFC 技术，BMS 能够主动读取内部传感器的数据 [... 考虑车辆外使用案例中的空闲状态场景：NFC 技术可用于处理闲置状态下的电池组读取，例如在第二次生命转移期间进行存储。 主动诊断读取：在邻近系统中部署了 BMS 的情况下，使用 NFC 技术进行主动诊断读取。 (ii) 系统结构 系统架构如图所示，在建立安全通道之前，需要对设备进行身份验证。数据链路通信层由 NDEF 记录处理，而数据存储可以是离线的，也可以是数据库中的在线存储。活动和空闲状态的诊断读数取决于设备和数据方向，需要与外部 NFC 阅读器进行通信。软件架构分为三层，包括硬件抽象层（HAL）、中间层（中间件）和应用层。HAL 处理硬件驱动组件，中间件执行设备验证，而应用层则由开发人员根据安全漏洞和格式扩展*定义。 为确保安全，系统采用了一个安全模型，为 BMS 和主动诊断读取情况格式化应用数据。安全考虑因素包括设备相互验证、使用安全通道（加密和防篡改）以及确保电池组内读数的安全。 考虑到不同的 BMS 拓扑，包括集中式、调制式、分布式和分散式，系统需要满足设备相互验证和使用安全通道的要求。对于每种拓扑结构，都必须考虑将性能开销降至最低。电池是封闭的，对其进行物理攻击不可行或成本太高。外部攻击可能也很困难。基于对称或非对称加密技术的自动验证可用于保护电池组读数。安全协议在验证阶段和会话密钥确认阶段采用双密钥加密，以抵御攻击。中间件在数据格式验证、确认和处理中发挥关键作用，确保数据传输安全。 (iii) 唤醒模型设计
-
阿里味 "的《Redis核心实践全彩手册》给你，还学不会转行--Redis基本是必考点。在 "阿里味 "的《Redis核心实战全彩手册》里，你还是学不会转行--Redis基本是必考点： - Redis 常见的性能问题有哪些？Redis 最常见的性能问题有哪些，如何解决？--性能相关 - Redis 缓存的雪崩、击落和穿透到底意味着什么？如何处理？--缓存相关 - Redis 主从集群有哪些常见问题？如何解决？--可用性 - 现有的 Redis 实例有 6GB 的存储空间，预计将来会扩展到 32GB，你能提供解决方案并分析其优势和潜在问题吗？--可扩展性相关 毕竟，10 家公司中至少有 8 家的架构系统中都有 Redis，基本上可以说是 IT 基础架构的必备系统。 因此，Redis 的开发和运维是很多大厂的重要工作，也是我们必须掌握的技术栈。 不过，Redis 毕竟是一个复杂的键值数据库，在实际使用中，有非常多的技术点需要注意，比如：各种数据结构、数据持久化机制、分片集群、主从集群等等。 一不小心，性能就会每况愈下，失去 "快 "的最大特点！
-
计算机视觉中，究竟有哪些好用的目标跟踪算法（下）-快速变形主要因为CF是模板类方法。容易跟丢这个比较好理解，前面分析了相关滤波是模板类方法，如果目标快速变形，那基于HOG的梯度模板肯定就跟不上了，如果快速变色，那基于CN的颜色模板肯定也就跟不上了。这个还和模型更新策略与更新速度有关，固定学习率的线性加权更新，如果学习率太大，部分或短暂遮挡和任何检测不准确，模型就会学习到背景信息，积累到一定程度模型跟着背景私奔了，一去不复返。如果学习率太小，目标已经变形了而模板还是那个模板，就会变得不认识目标。(举个例子，多年不见的同学，你很可能就认不出了，而经常见面的同学，即使变化很大你也认识，因为常见的同学在你大脑里面的模型在持续更新，而多年不见就是很久不更新) 快速运动主要是边界效应(Boundary Effets)，而且边界效应产生的错误样本会造成分类器判别力不够强，下面分训练阶段和检测阶段分别讨论。 训练阶段，合成样本降低了判别能力。如果不加余弦窗，那么移位样本是长这样的： 除了那个最原始样本，其他样本都是“合成”的，100*100的图像块，只有1/10000的样本是真实的，这样的样本集根本不能拿来训练。如果加了余弦窗，由于图像边缘像素值都是0，循环移位过程中只要目标保持完整那这个样本就是合理的，只有目标中心接近边缘时，目标跨越边界的那些样本是错误的，这样虽不真实但合理的样本数量增加到了大约2/3(padding= 1)，即使这样仍然有1/3(3000/10000)的样本是不合理的，这些样本会降低分类器的判别能力。再者，加余弦窗也不是“免费的”，余弦窗将图像块的边缘区域像素全部变成0，大量过滤掉分类器本来非常需要学习的背景信息，原本训练时判别器能看到的背景信息就非常有限，我们还加了个余弦窗挡住了背景，这样进一步降低了分类器的判别力(是不是上帝在我前遮住了帘。不是上帝，是余弦窗)。 检测阶段，相关滤波对快速运动的目标检测比较乏力。相关滤波训练的图像块和检测的图像块大小必须是一样的，这就是说你训练了一个100*100的滤波器，那你也只能检测100*100的区域，如果打算通过加更大的padding来扩展检测区域，那样除了扩展了复杂度，并不会有什么好处。目标运动可能是目标自身移动，或摄像机移动，按照目标在检测区域的位置分四种情况来看： 如果目标在中心附近，检测准确且成功。 如果目标移动到了边界附近但还没有出边界，加了余弦窗以后，部分目标像素会被过滤掉，这时候就没法保证这里的响应是全局最大的，而且，这时候的检测样本和训练过程中的那些不合理样本很像，所以很可能会失败。 如果目标的一部分已经移出了这个区域，而我们还要加余弦窗，很可能就过滤掉了仅存的目标像素，检测失败。 如果整个目标已经位移出了这个区域，那肯定就检测失败了。 以上就是边界效应(Boundary Effets)，推荐两个主流的解决边界效应的方法，但速度比较慢，并不推荐用于实时场合。