文件名称：MapReduce中shuffle优化与重构 (2012年)
文件大小：555KB
文件格式：PDF
更新时间：2024-06-03 23:01:55
自然科学 论文
详细介绍 MapReduce编程框架，具体分析yMapReduce中shuffle阶段流程。分别从Map端数据压缩、重构远程数据拷贝传输协议、Reduce端内存分配优化三方面来优化和重构Shuffle。最后通过搭建Hadoop集群，运用 MapReduce分布式算法测试实验数据。实验结果证明优化重构后的Shuffle能显著提高MapReduce计算性能。