yarn web ui 参数详解

时间:2024-08-06 13:36:50
我们经常使用yarn调度,但是我们是否对调度队列显示参数真正了解呢?
下面我们来一一看看这些参数都是做什么用的,代表什么意思
hadoop是通过队列管理集群资源,翻开集群Web UI,找到Schedule查看
yarn web ui 参数详解

yarn web ui 参数详解
 yarn web ui 参数详解
Queue State
queue 的状态
Used Capacity : 0.0%
已使用资源占队列配置值的百分比
Absolute Used Capacity : 0.0%
已使用资源占集群的百分比
Absolute Capacity
queue 至少可以使用系统资源占集群的百分比
Absolute Max Capacity
queue 最多可以使用系统资源占集群的百分比
Used Resources
已使用的memory和CPU
Num Schedulable Applications
正在被调度的app应用个数
Num Non-Schedulable Applications
没有被调度的app应用个数
Num Containers
已启用的container容器数量
Max Applications
最大可运行的应用数量
(处于pending和running状态的,比如配置最大运行量
yarn.scheduler.capacity.maximum-applications 为10000,
如果Absolute Capacity为90%,则这个值为9000
Max Applications Per User
每个user最多可以运行的应用数量
Max Applications * Configured Minimum User Limit Percent
Max Schedulable Applications
集群最大可调度应用数量,取决于内存总量,应用最小内存分配,
am可用资源占比。例如:
内存总量360G,yarn.scheduler.minimum-allocation-mb 为1024M,
yarn.scheduler.capacity.maximum-am-resource-percent 为0.1,
Configured Max Capacity为100%
则此值为360*0.1/1*1=36)
意思是:360G*am%/am大小*队列大小
Max Schedulable Applications Per User
单个用户最大可调度应用数量。
Max Schedulable Applications * 该队列capacity占比
* 单用户可使用队列资源占比
Configured Capacity
配置该队列capacity
Configured Max Capacity
配置该队列最大可使用capacity
Configured Minimum User Limit Percent
每个user最多可以使用队列资源的百分比
Configured User Limit Factor
队列中的用户允许占用队列值的多少,默认值是0.0~1
如果将值设置为1,它代表:最大可以占用整个队列资源
如果将值设置为2,它代表:允许队列所占资源增长到最多为队列容量的两倍