使用 python 构建基于 hadoop 的 mapreduce的实操

时间:2024-03-16 22:38:32

MapReduce编程模型概述

MapReduce应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。MapReduce是在总结大量应用的共同特点的基础上抽象出来的分布式计算框架,它适用的应用场景往往具有一个共同的特点:任务可被分解成相互独立的子问题。基于该特点,MapReduce编程模型给出了其分布式编程方法,共分5个步骤:

  • 迭代(iteration):遍历输入数据,并将之解析成key/value对;

  • 将输入key/value对映射(map)成另外一些key/value对;

  • 依据key对中间数据进行分组(grouping);

  • 以组为单位对数据进行规约(reduce);

  • 迭代。将最终产生的key/value对保存到输出文件中。

MapReduce将计算过程分解成以上5个步骤带来的最大好处是组件化和并行化。

为了实现MapReduce编程模型,Hadoop设计了一系列对外编程接口。从MapReduce自身的命名特点可以看出,MapReduce由两个阶段组成:Map阶段和Reduce阶段。用户只需要编写map()和reduce()两个方法,即可完成简单的分布式程序的设计实现。

map()方法以key/value对作为输入,产生另外一系列key/value对作为中间输出写入本地磁盘。MapReduce框架会自动将这些中间数据按照key值进行聚集,且key值相同(用户可以设定聚集策略,默认情况下是对key值进行哈希取模)的数据被统一交给reduce()方法处理。

reduce()方法以key及对应的value列表作为输入,经合并key相同的value值后,产生另外一系列key/value对作为最终输出写入HDFS。

使用 python 构建基于 hadoop 的 mapreduce的实操