MapRdeuce&Yarn的工作机制(YarnChild是什么)

时间:2021-01-05 19:15:29

                                          MapRdeuce&Yarn的工作机制

一幅图解决你所有的困惑

MapRdeuce&Yarn的工作机制(YarnChild是什么)


那天在集群中跑一个MapReduce的程序时,在机器上jps了一下发现了每台机器中有好多个YarnChild。困惑什么时YarnChild,当程序跑完后就没有了,神奇。后来百度了下,又问问了别的大佬。原来是这样

什么是YarnChild:

答:MrAppmaster运行程序时向resouce manager 请求的maptask/reduceTask。也是运行程序的容器。其实它就是一个运行程序的进程。

图解说下:

hadoop1版本的MapRdeuce&Yarn的工作机制

        1.客户端发来request。JobTracker接受request。

        2.JobTracker将客户端发来的request任务分配给TaskTracker

        3.然后TaskTracker生成maptask运行程序

        4.JobTracker不仅要负责资源调度,还要负责监控应运运算流程。

       缺点:耦合的高,当JobTracker死掉时,所有的客户端的请求任务都会死掉,而hadoop2则避免了这个问题,它中的对象多,但都各司其职,耦合的低,运行效率快。

hadoop2版本的MapRdeuce&Yarn的工作机制

        1.客户端发出请求,YARNRUNNER接受,生成一个代理对象,向resource manager请求一个application

        2.resource manager返回application的提交路径和application_id(这里使用id是应为可能有多个任务用id来区别)

        3.YARNRUNNER向hdfs提交job运行所需要的文件(application,job.split,job,.xml,job.jar)

        4.向resource manager 报告提交完成,申请一个mrAppMaster

        5.将用户的请求初始化成一个task,将task放到队列中,等待node manager来领取task任务。(这其中使用了调度策略,节约资源,如:Fair Capacity等等)

        6.node manager领取到任务,

        7.生成一个Container,然后在hdfs中下载运行资源。

        8.向resource manager申请运行maptask的容器(带着任务,split,运行资源.的元数据..)

        9.其他的node manager领取到resouce manager的任务,创建容器,此时的Container则是YarnChild,也是maptask,然后maptask在hdfs下载所要运行的资源。

        10.MrAppMaster发送程序脚本运行jar,当maptask中的程序运行完成后,maptask的资源被resource manager回收了,但跑完的资源在node manager中。

        11.当maptask运行完成后MRAppmaster又向resorce manager申请 reduce task(至于它申请多少个是由它有多少个map task决定的),然后根据忙于不忙node manager领取任务.创建container,

        12.redcuetask 向map获取相应分区的数据资源,运行文件。

        13.application运行完毕后MrAppmaster会向resource manager注销自己

        

总结:Yarn:资源调度系统(jar/xml/cpu/IO)

            负责程序运行所需资源的分配回收等任务调度,于程序运行内部即使完全无关,所以yarn只是一个寺院调度平台,mapreudce 则是一个运行技术框架,那别的运算框架也可以使用yarn,如:spark/storm/flink....