YARN应用程序开发流程(类似于MapReduce On Yarn)本内容版权归(小象学院所有)

时间:2024-09-13 14:04:56

YARN应用程序开发流程(类似于MapReduce On Yarn)本内容版权归(小象学院所有)

MapReduce On Yarn和MapReduce程序区别

MapReduce On Yarn(由专业人员开发)
1 为MapReduce作业运行在YARN上提供一个通用的运行时环境
2 需要与Yarn的各个服务交互(包括ResourceManager,NodeManager),完成较为复杂的功能(比方资源申请,跟对应的NodeManager通信启动任务)
3 由客户端和ApplicationMaster两部分组成。
备注:
通常不需要开发,因为MapRed Storm, Spark等都提供了已经写好了组件。
但是如果有新的运行框架,需要运行在yarn上,则需要自己编写配套的组件了。
对开发者要求:
1 只能用java开发
2 熟悉hadoop RPC原理及使用方法
3 熟悉分布式系统调试方法 MapReduce程序(由普通用户开发)
1 用户使用编程API(包括新旧两种)编写的应用程序
2 由Mapper,Reducer,Combiner等组件构成
3 程序提交到YARN上后,将由已经写好的ApplicationMaster服务对其进行分解和调度 如何编写一个MapReduce On Yarn呢?开发流程(如图所示) 备注:
用户需要开发的是Client和Application Master
client需要与ResourceManager和ApplicationMaster<=>交互<=>
ApplicationMaster与ResourceManager和NodeManager<=>交互<=> 这中间需要三个Hadoop RPC协议
ApplicationClientProtocol:这个是client与ResourceManager RPC通信的协议
Client通过该协议将应用程序提交到ResourceManager上,查询应用程序的运行状态或者杀死应用程序等 ApplicationMasterProtocol:ApplicationMaster与NodeManager
ApplicationMaster使用该协议向ResourceManager注册,申请资源,获取各个任务运行情况等。 ContainerManagmentProtocol:ApplicationMaster与ResourceManager
ApplicationMaster使用该协议要求NodeManager启动/撤销Container,或者查询Container的运行状态。 假设client和AppMaster已经开发完毕:
第一步 client内部会将依赖的jar包传送到hdfs
第二步 将作业提交到ResourceManager
第三步:ResourceManager收到作业后启动你所写的ApplicationMaster,由你的main函数来执行,通信Resourcemanager申请资源,申请到资源后再跟nodemanager通信来启动task 客户端设计流程(2个步骤)
步骤1:Client通过RPC函数
ApplicationClientProtocol#getNewApplication从ResourceManager中获取唯一的Application ID
步骤2:Client通过RPC函数
填充一定应用程序的信息:比如ApplicationMaster需要多少资源,ApplicationMaster运行jar包是什么,启动命令是什么等等
ApplicationClientProtocol#submitApplication【所有信息都封装在这个参数里】将ApplicationMaster提交到ResourceManager上。

YARN应用程序开发流程(类似于MapReduce On Yarn)本内容版权归(小象学院所有)


ApplicationMaster的编写分两步,每一步分三个步骤:

一AM与RM交互【主要是来申请资源】
1,ApplicationMaster通过RPC函数
ApplicationMasterProtocol#registerApplicationMaster向ResourceManager注册;
【注册的时候会告诉ResourceManager自己的ip端口】
【注册完成后会返回一些信息:比如你这个Applicationmaster最多可以获取多少资源,你的token是什么,】
2,ApplicationMaster通过RPC函数
ApplicationMasterProtocol#allocate向ResourceManager申请资源(以Container形式表示)
【allocate是一个RPC函数,ApplicationMaster启动后,已经知道内部有多少个task,每个task需要多少资源,会进行汇总,通过allocate向ResourceManager申请资源】
【allocate申请资源后,会周期性的调用allocate函数,第一:心跳,告诉Resourcemanager我还活着,第二:allocate每次调用后ResourceManager都会返回一些信息给你
比方说:你新申请到一些资源。 】
【你需要不断的探测,有没有得到新的资源】
【同时如果一些task死掉了,ResourceManager也会通过allocate告诉你】
【如果你不断的申请资源,申请到资源之后呢,ApplicationMaster会与Nodemanageer通信来启动对应的task】
3,ApplicationMaster通过RPC函数
【不断的申请资源,不断的启动task,最后所有的task都运行完了】
ApplicationMasterProtocol#finishApplicationMaster告诉ResourceManager应用程序执行完毕,并退出。
【这时候Resourcemanager就会把Applicationmaster的信息从内存中抹掉】

YARN应用程序开发流程(类似于MapReduce On Yarn)本内容版权归(小象学院所有)


二,AM与NM交互 [以下的第一和第二部是同时执行的]
1,ApplicationMaster将申请到的资源二次分配给内部的任务,并通过RPC函数ContainerManagementProtocol#startContainer与对应的
NodeManager通信以启动Container(【顺便告诉NodeManager,这个Container,,,,,包含任务描述,资源描述等信息)
【比方拿到了1个cpu,1G内存,这里面有10个任务,到底分配给哪个任务呢,有一定的调度策略,这个也要由你实现,比方设计成随便分配给某个任务,或者具有本地性的任务】
2,ApplicationMaster可通过RPC函数
ContainerManagementProtocol#getContainerStatus向NodeManager询问Container运行状态,一旦发现某个Container运行失败【是有Applicationmaster发现,而不是Resourcemanager发现】,ApplicationMaster
可尝试重新为对应的任务申请资源
3,一旦一个Container运行完成后,ApplicationMaster可以通过RPC函数ContainerManagementProtocol#stopContainer释放Container
【】

YARN应用程序开发流程(类似于MapReduce On Yarn)本内容版权归(小象学院所有)