什么是Hadoop的MapReduce?

时间:2021-12-12 16:27:48

摘自网上一句精简的话就是:


我们要数图书馆里面的所有书,你数1号书架,我数2号书架,他数3号书架...这就叫Map


map:分任务


其中假如把书架比作一台普通的计算机,那么整个图书馆里面的书则是由N台不太昂贵的计算机分布来存储的,而图书馆的管理员就相当于Hadoop的HDFS【分布式文件系统】


现在我们把所有人统计的图书数加在一起,这就叫“Reduce”


reduce:对每个任务的执行情况进行汇总


合起来就是Hadoop的MapReduce【分布式大数据处理功能】!!!


但是:Spark的数据处理速度要秒杀Hadoop的MapReduce,这就厉害了!!!