Eclipse ->run on hadoop报错No job jar file set. ClassNotFoundException:

在eclipse里面run as -> run on  hadoop测试一个mapereduce去重的小程序(来自http://www.aboutyun.com/thread-7041-1-1.html)报错找不到类：
14/11/14 13:39:56 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
14/11/14 13:39:56 INFO input.FileInputFormat: Total input paths to process : 2
14/11/14 13:39:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/11/14 13:39:56 WARN snappy.LoadSnappy: Snappy native library not loaded
14/11/14 13:39:58 INFO mapred.JobClient: Running job: job_201411122035_0018
14/11/14 13:39:59 INFO mapred.JobClient:  map 0% reduce 0%
14/11/14 13:40:09 INFO mapred.JobClient: Task Id : attempt_201411122035_0018_m_000000_0, Status : FAILED
java.lang.RuntimeException: java.lang. ClassNotFoundException: com.hebut.mr.Dedup$Map at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)

软件版本：eclipse jee 4.4.1， hadoop-1.1.2， hadoop-eclipse-plugin-1.1.2.jar，
对java和hadoop都不熟悉，刚接触hadoop一个月，请大侠指点。之前测试hadoop的范例wordcount的时候也是抱着个错误，后来折腾了很久，重新编译了插件搞定了。现在做另外一个去重的测试，又报这个错误。
dedup.java:
package com.hebut.mr;[indent]
import java.io.IOException;[/indent][indent]
import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

public class Dedup {

    //map将输入中的value复制到输出数据的key上，并直接输出

    public static class Map extends Mapper<Object,Text,Text,Text>{

        private static Text line=new Text();//每行数据

        //实现map函数

        public void map(Object key,Text value,Context context)

                throws IOException,InterruptedException{

            line=value;

            context.write(line, new Text(""));[/indent]
        }
    }



    //reduce将输入中的key复制到输出数据的key上，并直接输出

    public static class Reduce extends Reducer<Text,Text,Text,Text>{

        //实现reduce函数

        public void reduce(Text key,Iterable<Text> values,Context context)

                throws IOException,InterruptedException{

            context.write(key, new Text(""));

        }



    }



    public static void main(String[] args) throws Exception{

        Configuration conf = new Configuration();

        //这句话很关键

        conf.set("mapred.job.tracker", "192.168.1.2:9001");



        String[] ioArgs=new String[]{"dedup_in","dedup_out"};

     String[] otherArgs = new GenericOptionsParser(conf, ioArgs).getRemainingArgs();

     if (otherArgs.length != 2) {

     System.err.println("Usage: Data Deduplication <in> <out>");

     System.exit(2);

     }



     Job job = new Job(conf, "Data Deduplication");

     job.setJarByClass(Dedup.class);



     //设置Map、Combine和Reduce处理类

     job.setMapperClass(Map.class);

     job.setCombinerClass(Reduce.class);

     job.setReducerClass(Reduce.class);



     //设置输出类型

     job.setOutputKeyClass(Text.class);

     job.setOutputValueClass(Text.class);



     //设置输入和输出目录

     FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

     FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

     System.exit(job.waitForCompletion(true) ? 0 : 1);

     }

}

12 个解决方案

#1

自己顶一下！

#2

建议楼主将上述代码打为jar包，使用hadoop jar命令试试

#3

感谢，昨晚先把代码打成jar包，然后eclipse里面运行时加了：conf.set("mapred.jar", "Dedup.jar");
运行通过了。但难道以后每个mapreduce都要打包后才能测试吗？几天前就看到有帖子说：
File jarFile = EJob.createTempJar( "bin" );
EJob.addClasspath( "/usr/hadoop/conf" );
ClassLoader classLoader = EJob.getClassLoader();
Thread.currentThread().setContextClassLoader(classLoader);
......
((JobConf)job.getConfiguration()).setJar(jarFile);
这样的方式能直接动态产生并获得类路径。可是测试了几天都没有成功，刚开始抓瞎不知道Ejob、ClassLoader等到从哪里来，
后来百度到了Ejob的代码。但 (JobConf) 这里过不去，改成job也过不去，要么提示类没有，要么提示setJar方法没有。
查了一下源代码，发现有mapreduce和mapred两个包，其中mapreduce下面是Job.class，mapred下面是Jobconf; 貌似这两个是mapreduce不同版本的类？
我两个都没有测试过去。今天好不容易找到一个完整点的帖子：http://blog.csdn.net/z363115269/article/details/38776163
但不知道是不是这里版本比较新的原因，utils.java里面的job.setJar(jarFile.toString());也提示没有setJar方法。

#4

引用 3 楼 sterling_wu 的回复:

感谢，昨晚先把代码打成jar包，然后eclipse里面运行时加了：conf.set("mapred.jar", "Dedup.jar");
运行通过了。但难道以后每个mapreduce都要打包后才能测试吗？几天前就看到有帖子说：
File jarFile = EJob.createTempJar( "bin" );
EJob.addClasspath( "/usr/hadoop/conf" );
ClassLoader classLoader = EJob.getClassLoader();
Thread.currentThread().setContextClassLoader(classLoader);
......
((JobConf)job.getConfiguration()).setJar(jarFile);
这样的方式能直接动态产生并获得类路径。可是测试了几天都没有成功，刚开始抓瞎不知道Ejob、ClassLoader等到从哪里来，
后来百度到了Ejob的代码。但 (JobConf) 这里过不去，改成job也过不去，要么提示类没有，要么提示setJar方法没有。
查了一下源代码，发现有mapreduce和mapred两个包，其中mapreduce下面是Job.class，mapred下面是Jobconf; 貌似这两个是mapreduce不同版本的类？
我两个都没有测试过去。今天好不容易找到一个完整点的帖子：http://blog.csdn.net/z363115269/article/details/38776163
但不知道是不是这里版本比较新的原因，utils.java里面的job.setJar(jarFile.toString());也提示没有setJar方法。

是不是hadoop2版本？在hadoop2版本中job的很多方法都不存在了，直接使用Configuration中的set方法设置相应的参数

#5

楼主用的hadoop是什么版本的?

#6

软件版本：eclipse jee 4.4.1， hadoop-1.1.2， hadoop-eclipse-plugin-1.1.2.jar，

#7

hadoop 1 版本的话应该是在JobConf类里有setJar方法吧

#8

是的，我从源码可以看到，job里面没有，jobconf里面才有。
我借鉴的例子dedup.java，原本在这里没有用到setjar方法，原本是：
job.setJarByClass(Dedup.class);
但代码运行的时候有java.lang.RuntimeException: java.lang .ClassNotFoundException: com.hebut.mr.Dedup$Map的报错。后来查相关的帖子，发现有说用这样的方式可以解决：
File jarFile = EJob.createTempJar( "bin" );
EJob.addClasspath( "/usr/hadoop/conf" );
ClassLoader classLoader = EJob.getClassLoader();
Thread.currentThread().setContextClassLoader(classLoader);
......
((JobConf)job.getConfiguration()).setJar(jarFile);
那现在看来这个方法不适用我的环境了。这几天都是先打包class文件成jar包，并引入到eclipse工程，然后才能运行算法的。
不知道有没有更便捷一点的？

#9

conf.set("mapred.jar", "Dedup.jar");

#10

现在是先打包代码成dedup.jar，引入工程buildpath，
然后代码里加入conf.set("mapred.jar", "Dedup.jar");
想找个可以不用先打包，而直接改代码就可以解决的方法。

#11

打包jar到集群使用hadoop jar命令运行是最可靠的，在Eclipse下使用插件提交任务，有帖子说可以实现，但是很少有能够实现的，反正我自己是没实现

#12

好吧，谢谢各路高人，看来确实只能这样了。

#1