1. 概述
YARN是一个资源管理系统。负责集群资源的管理和分配。假设想要将一个新的应用程序执行在YARN之上，通常须要编写两个组件：client和ApplicationMaster。
因为这两个组件编写很复杂，尤其ApplicationMaster，须要考虑RPC调用、任务容错等细节，所以，往往由专业的开发者编写这两个组件，并提供给上层的应用程序用户使用。
假设大量应用程序可抽象成一种通用框架，那么仅仅需实现一个client和一个ApplicationMaster。然后让全部应用程序重用这两个组件就可以，比方MapReduce是一种通用的计算框架。YARN已经为事实上现了一个直接能够使用的client—MRClientService和ApplicationMaster—MRAppMaster。
本文主要介绍了怎样让一种新的应用程序，或者新的计算框架，执行于YARN之上。正如前面介绍的，用户须要编写两个组件完毕该任务：client和ApplicationMaster，当中，client负责向ResourceManager提交ApplicationMaster，并查询应用程序执行状态，ApplicationMaster负责向ResourceManager申请资源（以Container形式表示），并与NodeManager通信以启动各个Container。此外，ApplicationMaster还负责监控各个任务执行状态，并在失败是为其又一次申请资源。
2. YARN Appcalition涉及到的RPC协议和主要编写步骤
（1） 涉及到的RPC协议
通常而言，编写一个YARN Appcalition涉及到3个RPC协议。分别为：
1） ClientRMProtocol(Client<–>ResourceManager)
Client通过该协议将应用程序提交到ResourceManager上、查询应用程序的执行状态或者杀死应用程序等。
2） AMRMProtocol(ApplicationMaster<–>ResourceManager)
ApplicationMaster使用该协议向ResourceManager注冊、申请资源以执行自己的各个任务。
3） ContainerManager(ApplicationMaster<–> NodeManager)
ApplicationMaster使用该协议要求NodeManager启动/撤销Container，或者获取各个container的执行状态。
（2）client编写流程
步骤1 Client通过RPC函数ClientRMProtocol#getNewApplication从ResourceManager中获取唯一的application ID
步骤2 Client通过RPC函数ClientRMProtocol#submitApplication将ApplicationMaster提交到ResourceManager上。
（3）ApplicationMaster编写流程
步骤1 ApplicationMaster通过RPC函数AMRMProtocol#registerApplicationMaster向ResourceManager注冊。
步骤2 ApplicationMaster通过RPC函数AMRMProtocol#allocate向ResourceManager申请资源（以Container形式表示）。
步骤3 ApplicationMaster通过RPC函数ContainerManager#startContainer要求相应的NodeManager启动Container。
ApplicationMaster反复步骤2~3，直到全部任务执行成功。
另外。在应用程序执行过程中，用户可使用ClientRMProtocol#getApplicationReport 查询应用程序执行状态。也能够使用ClientRMProtocol#forceKillApplication将应用程序杀死。
3. 编写YARN Appcalition具体步骤介绍
（1）client编写流程
client通常仅仅需与ResourceManager交互。期间涉及到多个数据结构和一个RPC协议，详细例如以下：
步骤1 获取ApplicationId。client通过RPC协议ClientRMProtocol向ResourceManager发送应用程序提交请求GetNewApplicationRequest，ResourceManager为其返回应答GetNewApplicationResponse，该数据结构中包括多种信息，包括ApplicationId、可资源使用上限和下限等。
步骤2 提交ApplicationMaster。将启动ApplicationMaster所需的全部信息打包到数据结构ApplicationSubmissionContext中，主要包含下面几种信息：
(1) application id
(2) application 名称
(3) application优先级
(4) application 所属队列
(5) application 启动username
(6) ApplicationMaster相应的Container信息，包含：启动ApplicationMaster所需各种文件资源、jar包、环境变量、启动命令、执行ApplicationMaster所需的资源（主要指内存）等。
client调用ClientRMProtocol#submitApplication(ApplicationSubmissionContext)将ApplicationMaster提交到ResourceManager上。
（ResourceManager收到请求后。会为ApplicationMaster寻找合适的节点，并在该节点上启动它）。
client可通过多种方式查询应用程序的执行状态。当中一种是调用RPC函数ClientRMProtocol#getApplicationReport获取一个应用程序当前执行状况报告，该报告内容包含应用程序名称、所属用户、所在队列、ApplicationMaster所在节点、一些诊断信息、启动时间等。
（2）编写ApplicationMaster
ApplicationMaster须要与ResoureManager和NodeManager交互，以申请资源和启动Container，期间涉及到多个数据结构和两个RPC协议。
详细过程例如以下：
步骤1 注冊。ApplicationMaster首先需通过RPC协议AMRMProtocol向ResourceManager发送注冊请求RegisterApplicationMasterRequest。该数据结构中包括ApplicationMaster所在节点的host、RPC port和TrackingUrl等信息，而ResourceManager将返回RegisterApplicationMasterResponse，该数据结构中包括多种信息，包括该应用程序的ACL列表、可资源使用上限和下限等。
步骤2 申请资源。依据每一个任务的资源需求，ApplicationMaster可向ResourceManager申请一系列用于执行任务的Container，ApplicationMaster使用ResourceRequest类描写叙述每一个Container（一个container仅仅能执行一个任务）：
1） Hostname 期望Container所在的节点，假设是“*”，表示能够为随意节点。
2） Resource capability 执行该任务所需的资源量。当前仅支持内存资源。
3） Priority 任务优先级。一个应用程序中的任务可能有多种优先级。ResourceManager会优先为高优先级的任务分配资源。
4） numContainers 符合以上条件的container数目。
一旦为任务构造了Container后，ApplicationMaster会使用RPC函数AMRMProtocol#allocate向ResourceManager发送一个AllocateRequest对象，以请求分配这些Container，AllocateRequest中包括下面信息：
1）Requested containers 所需的Container列表
2）Released containers 有些情况下，比方有些任务在某些节点上失败过，则ApplicationMaster不想再在这些节点上执行任务，此时可要求释放这些节点上的Container。
3）Progress update information 应用程序运行进度
4）ResponseId RPC响应ID，每次调用RPC。该值会加1。
ResourceManager会为ApplicationMaster返回一个AllocateResponse对象，该对象中主要信息包括在AMResponse中：
1）reboot ApplicationMaster是否须要又一次初始化.当ResourceManager端出现不一致状态时，会要求相应的ApplicationMaster又一次初始化。
2）Allocated Containers 新分配的container列表。
3）Completed Containers 已执行完毕的container列表，该列表中包括执行成功和未成功的Container，ApplicationMaster可能须要又一次执行那些未执行成功的Container。
ApplicationMaster会不断追踪已经获取的container，且仅仅有当需求发生变化时，才同意又一次为Container申请资源。
步骤3 启动Container。当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会使用RPC函数ContainerManager#startContainer向相应的NodeManager发送ContainerLaunchContext以启动Container，ContainerLaunchContext包括下面内容：
1）ContainerId Container id
2）Resource 该Container可使用的资源量（当前仅支持内存）
3）User Container所属用户
4）Security tokens 安全令牌，仅仅有持有该令牌才可启动container
5）LocalResource 执行Container所需的本地资源，比方jar包、二进制文件、其它外部文件等。
6）ServiceData 应用程序可能使用其它外部服务，这些服务相关的数据通过该參数指定。
6）Environment 启动container所需的环境变量
7）command 启动container的命令
ApplicationMaster会不断反复步骤2~3。直到全部任务执行成功，此时。它会调用AMRMProtocol#finishApplicationMaster。以告诉ResourceManage自己执行结束。
【注意】 整个执行过程中，ApplicationMaster需通过心跳与ResourceManager保持联系，这是由于，假设一段时间内（默认是10min）。ResourceManager未收到ApplicationMaster信息。则觉得它死掉了，会又一次调度或者让其失败。通常而言，ApplicationMaster周期性调用RPC函数AMRMProtocol#allocate向其发送空的AllocateRequest请求就可以。
4. 总结
编写一个兼具高容错性和高性能的ApplicationMaster是很不easy的，在后面几篇博文中，我将介绍YARN中提供的两个ApplicationMaster实现，一个是很easy。通经常使用作演示样例的dsitributedshell，还有一个是MapReduce计算框架相应的ApplicationMaster—MRAppMaster。
5. 參考资料
http://hadoop.apache.org/docs/r2.0.0-alpha/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html
原创文章，转载请注明： 转载自董的博客
本文链接地址: http://dongxicheng.org/mapreduce-nextgen/how-to-write-an-yarn-applicationmaster/