2016年4月6日10:34:10
MapReduce程序运行流程
作者:数据分析玩家
一直以来虽然都在学习hadoop,也打算写一篇关于MapReduce程序运行流程的博客文章,但是一直没有时间,今天抽空写一篇,本篇文章尽量写的详细,如有问题请读者留言。
为了方便理解,先用作图的方式进行阐述:
MapReduce程序的执行过程分为两个阶段:Mapper阶段和Reducer阶段。
其中Mapper阶段可以分为6个步骤:
第一阶段:先将HDFS中的输入文件file按照一定的标准进行切片,默认切片的类为FileInputFormat,通过切片输入文件将会变成split1、split2、split3……;随后对输入切片split按照一定的规则解析成键值对<k1,v1>,默认处理的类为TextInputFormat。其中k1就是我们常说的起始偏移量,v1就是行文本的内容。
第二阶段:调用自己编写的map逻辑,将输入的键值对<k1,v1>变成<k2,v2>。在这里要注意:每一个键值对<k1,v1>都会调用一次map函数。
第三阶段:按照一定的规则对输出的键值对<k2,v2>进行分区:分区的规则是针对k2进行的,比如说k2如果是省份的话,那么就可以按照不同的省份进行分区,同一个省份的k2划分到一个区。注意:默认分区的类是HashPartitioner类,这个类默认只分为一个区,因此Reducer任务的数量默认也是1.
注意:如reduce要求得到的是全局的结果,则不适合分区!
第四阶段:对每个分区中的键值对进行排序。注意:所谓排序是针对k2进行的,v2是不参与排序的,如果要让v2也参与排序,需要自定义排序的类,具体过程可以参看博主文章。
第五阶段:排序完之后要进行分组,即相同key的value放到同一个集合当中,例如在WordCount程序中的<hello,{1,1}>执行的就是这个步骤,但是要注意:分组也是针对key进行的,经过分组完之后,就得到了我们熟悉的键值对<k2,v2s>.
第六阶段(可选):对分组后的数据进行归约处理。通过归约处理键值对<k2,v2s>变成了<k2,v2>,经过这一阶段,传送到Reducer任务端的数据量会减少。但是规约的使用是有条件的,所以这一阶段是可以选择的。
上面的三四五:分区排序分组三个阶段可以归结为shuffle阶段,在shuffle阶段对键值对<k2,v2>处理后变成了<k2,v2s>.
Mapper任务处理完之后,就进入到了我们的Reducer阶段:
Reducer任务的执行过程可以分为3个阶段:
第一阶段:对多个Mapper任务的输出,按照不同的分区,通过网络拷贝到不同的Reducer节点上进行处理,将数据按照分区拷贝到不同的Reducer节点之后,对多个Mapper任务的输出在进行合并,排序。例如:在WordCount程序中,若一个Mapper任务输出了<hello,{1,1}>,另外一个Mapper任务的输出为<hello,{1,1,1}>,经过在次合并之后变为<hello,{1,1,1,1,1}>.
第二阶段:调用自己的reduce逻辑,将键值对<k2,v2s>变为<k3,v3>.在这里注意:每一个键值对<k2,v2s>都会调用一次reduce函数。
第三阶段:将Reducer任务的输出保存到指定的文件中。
经过上面的具体分析之后,我们在通过WordCount业务进行具体的说明,假设输入文件的内容为:
在这里我们通过第一条记录“helloyou”进行具体的说明MapReduce程序的执行过程,注:默认一个分区,整个过程处理如下:
到此,MapReduce程序的流程大致就讲述完了,其实从宏观上来看,无非就是对键值的不断处理。
2016年4月6日13:41:22
相关文章
- Java 命令行运行java程序,出现“找不到或无法加载主类 ”的注意事项
- Java 命令行运行java程序,出现“找不到或无法加载主类 ”的注意事项
- JAVA学习笔记day04 程序流程控制
- 【深度挖掘RocketMQ底层源码】「底层源码挖掘系列」透彻剖析贯穿RocketMQ的消费者端的运行调度的流程(Pull模式)
- 绘制程序流程图笔记
- 用Visio快速绘制程序设计中算法流程图
- 如何学习绘制程序流程图
- 请教centOS下运行程序出现的“字段类型错误”
- 请问如何利用当前运行的一个java程序去执行另外一个java程序
- java swing做了一个小程序,导出jar后双击运行,不能执行查询!用命令执行和eclipse执行都没问题!