文件名称：一种基于资源预取的Hadoop作业调度算法 (2014年)
文件大小：927KB
文件格式：PDF
更新时间：2024-07-01 08:08:28
工程技术 论文
Hadoop原有的作业调度算法在任务级调度阶段均采用简单考虑数据本地性的任务分配策略，并不能保证良好的数据本地性，而相应的改进算法改进目标不一，也不完全适用于所有作业调度场合。针对以上问题，结合数据预取理念提出一种基于资源预取的作业调度算法。通过估算节点上正在运行任务的剩余执行时间，并与传输一个数据块所需时间进行比较，预选出待预取的候选节点；并从当前正在运行作业的未分配任务中选取非本地map任务作为待预取任务；最后，为该任务在候选节点上预取其所需数据。实验结果表明该改进算法有效地提高了作业的数据本地性，并