初始Yarn

时间:2021-04-13 01:36:44

YARN

产生背景

  • MapReduce1.x存在的问题:单点故障&节点压力大、不易扩展

    初始Yarn初始Yarn

  • 资源利用率&运维成本

    初始Yarn初始Yarn

  • 催生了YARN的诞生

    初始Yarn初始Yarn

    • YARN:不同计算框架可以共享同一个HDFS集群上的数据,享受整体的资源调度

    • xxx on YARN的好处:与其他计算框架共享集群资源,按资源需要分配,进而提高集群资源的利用率

    • xxx :Spark/MapReduce/Storm/Flink

YARN概述

yarn架构

  • 通用的资源管理系统

  • 为上一层应用提供统一的资源管理和调度

  • 架构

    初始Yarn初始Yarn

    • ResourceManager:RM

      • 整个集群同一时间提供服务的RM只有一个,负责集群资源的统一管理的调度

      • 处理客户端的请求:提交一个作业、杀死一个作业

      • 监控我们的NM,一旦某个NM挂了,那么该NM上运行的任务需要告诉我们的AM

    • NodeManager:NM

      • 整个集群中有多个,负责自己本身节点资源管理和使用

      • 定时向RM汇报本节点的资源使用情况

      • 接收并处理来自RM的各种命令:启动Container

      • 处理来自AM的命令

      • 单个节点的资源管理

    • ApplicationMaster:AM

      • 每一个应用程序对应一个:MR、Spark,负责应用程序的管理

      • 为应用程序向RM申请资源(core,memory),分配给内部task

      • 需要与NM通信:启动/停止task,task是运行在container里面,AM也运行在container里面

    • Container

      • 封装了CPU、Memory等资源的一个容器

      • 是一个任务运行环境的抽象

    • Client

      • 提交作业

      • 查询作业的运行进度

      • 杀死作业

yarn执行流程

初始Yarn初始Yarn