文件名称：基于YARN资源调度器的MapReduce作业数调节方法
文件大小：1.05MB
文件格式：PDF
更新时间：2024-05-26 06:06:53
大数据 资源调度器 MapReduce 闭环反馈控制
YARN是Hadoop的一个分布式的资源管理系统，用来提高分布式集群的内存、I/O、网络、磁盘等资源的利用率.然而，YARN的配置参数众多，要对其人工调优并获得最佳的性能费时费力.本文在现有的YARN资源调度器的基础上，结合了一种闭环反馈控制方法，可在集群运行状态下动态地对MapReduce （MR）作业数进行优化，省去了人工调整参数的过程.实验表明，在YARN的容量调度器和公平调度器的基础上使用该方法，相比于默认配置，MR作业完成时间分别减少53%和14%左右.