文件名称：基于异常检测模型的异构环境下MapReduce性能优化 (2015年)
文件大小：466KB
文件格式：PDF
更新时间：2024-06-02 04:31:30
工程技术 论文
针对“落伍者”的选择问题，提出利用故障诊断领域内通常使用的异常检测模型来选择“落伍者”的方法。首先，利用异常检测算法来发现集群中的“慢节点”；然后改进MapReduce任务分配算法和推测执行算法，不再给“慢节点”分配任务并将“慢节点”中的任务分配至有空闲任务槽的正常节点中。在改进的推测执行算法中，因相同网段内的节点通常物理邻近，可提高数据传输速度，首次将“慢节点”中的任务分配至同网段的正常节点中，以便数据传输。实例验证结果表明，使用异常检测算法后可迅速检测出异常节点，且与Hadoop-LATE算法相比，处