对hadoop 执行mapreduce时发生异常Illegal partition for的解决过程

时间:2021-04-12 12:06:29

来自:http://blog.csdn.net/hezuoxiang/article/details/6878026

写了个mapreduce的JAVA程序,自定义了个partition

class indexPartition extends HashPartitioner<Text, Text>
{
 public int getPartition(Text key, Text value,int numReduceTasks)
 {
  Text tmp = new Text(key.toString().substring(0,key.toString().indexOf(":")));
  super.getPartition(tmp, value, numReduceTasks);

return numReduceTasks;
  
 }
}

在运行时出现异常:java.io.IOException:Illegal partition for my:test1 (1)

第一步,找源码找原因

(1)按出现异常的提示:

at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:904)

at org.apache.hadoop.mapred.MapTask$NewOutputCollector.write(MapTask.java:541)

找到源代码的MapTask.java文件,再找到NewOutputCollector.write方法,里面有一句:

collector.collect(key, value,partitioner.getPartition(key, value, partitions));

这里调用了getPartition方法的返回值作为参数

(2)在该文件查找出错的字串“Illegal partition for”,结果找一这一行:

if (partition < 0 || partition >= partitions)

{
          throw new IOException("Illegal partition for " + key + " (" + partition + ")");
 }

这是collect函数的一部分,partitions是函数传入的参数,也就是刚才看到的partitioner.getPartition(key, value, partitions)的返回结果

这时结合输出可知,当前的partition 为1,就是说partitions应该小于或等1才会出现异常了。

(3)对比一下我自己写的partitioner,问题找到了。我是直接把传入来的参数numReduceTasks返回,我是应该把父函数的返回值返回对

第二步,修改

class indexPartition extends HashPartitioner<Text, Text>
{
 public int getPartition(Text key, Text value,int numReduceTasks)
 {
  Text tmp = new Text(key.toString().substring(0,key.toString().indexOf(":")));
  int partitions = super.getPartition(tmp, value, numReduceTasks);
  return partitions;
  
 }
}