摘自网上一句精简的话就是:
我们要数图书馆里面的所有书,你数1号书架,我数2号书架,他数3号书架...这就叫Map
map:分任务
其中假如把书架比作一台普通的计算机,那么整个图书馆里面的书则是由N台不太昂贵的计算机分布来存储的,而图书馆的管理员就相当于Hadoop的HDFS【分布式文件系统】
现在我们把所有人统计的图书数加在一起,这就叫“Reduce”
reduce:对每个任务的执行情况进行汇总
合起来就是Hadoop的MapReduce【分布式大数据处理功能】!!!
但是:Spark的数据处理速度要秒杀Hadoop的MapReduce,这就厉害了!!!