Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

时间:2022-09-08 07:42:22

shuffle是非常重要!一定要深入理解和多实践。

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

缓存,分组,排序,转发,这些都是mr的shuffle。

Soga

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

我想得到按流量来排序,而且还是倒序,怎么达到实现呢?这就牵扯到排序的的问题

默认是根据key来排,

我想根据value里的某个排,

解决思路:将value里的某个,放到key里去,然后来排

下面,开始weekend110的hadoop的自定义排序实现

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

也要修改FlowBean代码

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)