mapreduce核心编程思想,如图1-1所示。
图1-1 mapreduce核心编程思想
1)分布式的运算程序往往需要分成至少2个阶段。
2)第一个阶段的maptask并发实例,完全并行运行,互不相干。
3)第二个阶段的reducetask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出。
4)mapreduce编程模型只能包含一个map阶段和一个reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个mapreduce程序,串行运行。
小结:分析wordcount数据流走向深入理解mapreduce核心思想。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对服务器之家的支持。如果你想了解更多相关内容请查看下面相关链接
原文链接:https://blog.csdn.net/qq_43193797/article/details/85331644