前几节中,我们已经了解了MapTask并行度机制、ReduceTask并行机制、Yarn运行流程以及Partitioner和Combiner的原理,现在我们结合这几节综合讲解全流程。
1.启动任务之后,首先运行的是MapTask任务,这里会使用InputFormat组件进行数据的读取,InputFormat的默认实现类是TextInputFormat,该类使用RecordRead对于分片后的文件进行一行一行的读取,然后再map()方法中进行逻辑业务处理,使用OutPutCollector进行输出。
2.在使用OutOutCollector组件进行处理中,会使用环形缓冲区,环形缓冲区默认大小为100MB,80%是数据区,20%用于数据的排序,首先进行Partition分区,然后进行排序,这里使用的排序算法主要是快速排序,利用key的compareTo()方法内部实现进行比较排序。
3.在数据缓冲区数据占用满以后,会被溢出到缓冲文件中,这里如果有Combiner组件,会根据具有相同的key进行相应的合并操作。
4.在每一次溢出后,由于缓存文件比较小,会进行多次合并,这里使用的算法是归并排序,然后mapTask任务完成。
5.在启动Reduce任务之后,不同的ReduceTask会根据自己的分区号在不同的机器上拉去属于自己分区的数据,再次将这些文件进行合并,使用的算法依旧是归并排序,这里注意,如果使用GroupingComparaor组件,对于相同的Key,获取的是第一个key,然后将value组合成一个Itreable的可迭代集合,然后进程业务逻辑处理。
6.ReduceTask中,会调用OutPutFormat组件进行输出,默认的实现类是TextOutPutFormat,然后调用RecordWriter进行文件写入。