文件名称：论文研究-基于logistic回归模型的Hadoop本地任务调度优化算法.pdf
文件大小：1.03MB
文件格式：PDF
更新时间：2022-08-11 11:56:48
Hadoop,MapReduce,本地调度,任务优先级,过载规则,logistic回归模型
当一个工作节点有多个本地任务可执行时，默认情况下，调度器都是按照任务被发现的先后顺序来进行执行，效率低下。为了优化对本地任务的调度，提出了一种基于机器学习的Hadoop本地任务调度优化算法。选取定义与任务相关的特征向量，然后基于logistic回归模型的机器学习方式得到各向量的作用权值，将任务进行优先级排序，并通过过载规则不断更新模型。通过实验证明，提出的算法在改善map 任务的数据本地性的同时，降低了作业运行时间。