文件名称：论文研究-基于延迟调度策略的reduce调度优化算法.pdf
文件大小：1.28MB
文件格式：PDF
更新时间：2022-08-11 12:47:02
reduce任务,数据本地性,延迟调度,MapReduce任务调度
在大规模的Hadoop集群中，良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。针对Hadoop架构中reduce任务的数据本地性较低问题，提出了一种基于延迟调度策略的reduce任务调度优化算法，通过提高reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量，该算法在Hadoop架构的early shuffle阶段，使用多级延迟调度策略来提高reduce任务的数据本地性。最后重写原生公平调度器代码实现了该调度算法，并与原生公平调度器进行了对比实验分析。实验结果表明，该算法明显减少了作业执行时间，提高了集群的作业吞吐量。