文件名称:分布式MapReduce相关技术研究
文件大小:188KB
文件格式:DOCX
更新时间:2022-02-07 09:24:31
分布式 MapReduce
通过MapReduce开发过程中学到了不少东西 ,1,约束编程模式使得并行和分布式计算非常容易,也易于构造容错的计算环境;2,网络带宽是稀有资源。大量的系统优化是针对减少网络传输量为目的的:本地优化策略使大量的数据从本地磁盘读取,中间文件写入本地磁盘、并且只写一份中间文件也节约了网络带宽;3,多次执行相同的任务可以减少性能缓慢的机器带来的负面影响,同时解决了由于机器失效导致的数据丢失问题。