文件名称：论文研究-基于数据局部性的推测式Hadoop任务调度算法研究.pdf
文件大小：838KB
文件格式：PDF
更新时间：2022-08-11 14:31:19
Hadoop,任务调度,异构环境,数据局部性
针对Hadoop平台现有任务调度算法优化程度不高的问题，提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例，结合不同节点上数据的局部特性，采用了比现有算法更精确的任务进度探测方式找出快慢节点，在快节点上启动剩余时间最长的落后任务的备份任务，用移动计算代替移动数据。在Hadoop环境中进行了实验，结果表明该算法比现有算法缩短了任务平均运行时间，加快了任务的执行效率。