基于机器学习的MapReduce资源调度算法

时间:2022-05-15 05:02:32
【文件属性】:

文件名称:基于机器学习的MapReduce资源调度算法

文件大小:234KB

文件格式:PDF

更新时间:2022-05-15 05:02:32

MApRed

针对 MapReduce 中允许 map 和 shuffle 阶段重叠的优化模型需要自适应性的问题, 提出了基于此模型的机器学习的资源调度算法,利用贝叶斯分类器依据作业对系统资源的需求和系统环境的匹配程度对作业进行调度,并不断更新分类器, 使其具有自适应性, 考虑了 map 和 shuffle 的重叠阶段。通过模拟实验验证, 改进后的算法能够提高 MapReduce 系统的性能,获得更好的平均响应时间。


网友评论