异构资源环境下Hadoop节点能力自适应调度算法

【文件属性】：
文件名称：异构资源环境下Hadoop节点能力自适应调度算法
文件大小：1001KB
文件格式：PDF
更新时间：2021-04-30 13:27:43
Hadoop 异构资源 节点能力 为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足，提出了一种基于节点能力的自适应调度算法NCAS（node capacity adaptive scheduling）。首先，NCAS算法根据节点性能、任务特征计算得到调度因子；然后，由调度因子确定各节点应分得的数据量与任务槽数；最后，将数据和任务多分给快节点同时少分给慢节点。实验结果表明，与传统的调度算法相比，NCAS算法大幅度减少了备份任务的启动数量，明显减少了作业完成时间，提升了任务执行效率。