最近在使用其他框架调用Hadoop时,执行命令出现错误,查看UI界面的日志发现,如下:
导致错误的原因应该是,在程序运行时,找不到Hadoop中的MRAppMaster的主类,导致程序无法进行下去。
解决方法:
在yarn-site.xml文件中name为
yarn.application.classpath对应的value中配置Hadoop的相关jar需求等,如下:
yarn.application.classpath
/bigdata/hadoop-2.6.0/etc/hadoop,
/
bigdata/hadoop-
2.6.0/share/hadoop/common/*,
/
bigdata/hadoop-
2.6.0/share/hadoop/common/lib/*,
/
bigdata/hadoop-
2.6.0/share/hadoop/hdfs/*,
/
bigdata/hadoop-
2.6.0/share/hadoop/hdfs/lib/*,
/
bigdata/hadoop-
2.6.0/share/hadoop/mapreduce/*,
/
bigdata/hadoop-
2.6.0/share/hadoop/mapreduce/lib/*,
/
bigdata/hadoop-
2.6.0/share/hadoop/yarn/*,
/
bigdata/hadoop-
2.6.0/share/hadoop/yarn/lib/*