
正在考虑怎么方便上传图片
1.Partitioner其是一个抽象类,只有一个抽象方法。其作用是对Reducer产生的中间结果进行分片,以方便将同一分组的数据交给同一个Reducer处理
2.类的继承结构
3.子类介绍一、BinaryPartitioner
- 可以像Python一样,使用左索引和右索引进行遍历
- 实现的函数
- 分别时设置偏移量
- 设置左偏移量
- 设置右偏移量
- 设置配置文件
- 获取配置文件
- 获取Partition的个数
- getPartition的函数实现,其也结识了Offset的设置和使用,其中的HashBytes函数为二进制计算hash
4.子类介绍二、
- 该类的主要功能是根据确定的key去划分keys
- 类实现的函数如下