一、实验目标
编写Mapreduce程序,以Hbase表数据为Map输入源,计算结果输出到HDFS或者Hbase表中。
在非CDH5的Hadoop集群环境中,将编写好的Mapreduce程序整个工程打成Jar包提交到Hadoop集群中运行。 本文记录实验过程中的遇到的问题及解决思路。
简单描述集群环境:Hadoop2.6, Hbase0.98 。
1、因Mapreduce程序中使用到了Hbase的Java API ,那么必须把Hbase的相应的lib包,复制到Hadoop集群环境中的每个节点的Hadoop目录。网上的资料大部分说将hbase-0.98.jar 复制到hadoop/lib目录。hadoop2.6版本中的jar包都在share目录中,包含hdfs,common,yarn等子目录。实验环境中的Hbase0.98为官方下载的:hbase-0.98.10-hadoop2-bin.tar.gz。解压该文件后,我将lib目录中,以hbase开头,及high-scale-lib-1.1.1.jar、htrace-core-2.04.jar复制到了hadoop2.6中share/common目录中。hadoop2.6/share/common/ hadoop2.6/share/common/lib等目录中的jar包,在集群启动的时候已经添加到了classpath中。
2、 RMProxy: Connecting to ResourceManager Already tried 1 time(s);
出现该错误:检查防火墙是否关闭 or 集群中的Yarn服务是否启动。