Hadoop中MapReduce作业流程图

时间:2022-02-20 18:17:33

Hadoop中MapReduce作业流程图

MapReduce的流程分为11个步骤,4个实体

1、客户端:编写MapReduce的代码,配置作业,提交作业

2、JobTracker:初始化作业,分配作业,与TaskTracker通信,协调整个作业的执行

3、TaskTracker:保持JobTracker的通信,在分配的数据段上执行Map和Reduce任务,一个Hadoop中可以包含多个TaskTracker

4、HDFS:保存作业的数据、配置信息等,保存作业结果。