hadoop集群安装

时间:2023-12-28 15:31:26

首现非常感谢 虾皮http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html) 安装过程是参照他的《Hadoop集群(第5期)_Hadoop安装配置》

进行配置安装的,但是安装过程中出现了一些细节问题,特此在这做个记录,有遇到和我相同或者类似问题的可以参照一下。

下面的配置介绍有些只是粗略的说一下,因为虾皮博客中已经介绍的很详细了,我就不再赘述了,重点在地方我会标注出来(一些细节)。

1.环境介绍

    我用的是CentOS5.8  一个NameNode,两个DataNode。NameNode(Master)的IP:192.168.17.128;DataNode1(Slave_01)的IP:192.168.17.130;

    DataNode2(Slave_02)的IP:192.168.17.131;

2.软件介绍

  JDK:jdk1.6.0_38

  Hdoop:hadoop-1.0.0.tar.gz

  FTP工具:WinSCP

3.安装出现的细节问题

  3.1 tmp目录

    在hadoop下创建tmp文件夹(目录)以后,它默认所属用户为root,需要给hadoop用户添加读的权限

    chown hadoop:hadoop tmp,但是这样还是会有问题

  TaskTracker local dir /usr/local/hadoop/tmp/mapred/local error can not create directory: /usr/local/hadoop/tmp/mapred/local, removing from local dirs

    hadoop集群安装

    出现这个问题的原因就是我们创建tmp目录的权限问题,chmod a+w tmp修改完成之后把NameNode,DataNode下的tmp目录清空,

     然后重新执行hadoop namenode -format

  3.2 core-site.xml文件

    hadoop集群安装

  3.3 mapred-site.xml文件

    hadoop集群安装

  3.4 hadoop 1.0.0版本,安装完之后敲入hadoop命令时,老是提示这个警告:

    编辑"/etc/profile"文件,添加一个环境变量,之后警告消失------>export HADOOP_HOME_WARN_SUPPRESS=1

  3.5 NameNode中namespaceID和DataNode中namespaceId不一致

    hadoop集群安装

其实出现此问题的原因很简单,每次namenode  format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode  format清空了namenode下的数据,但是没有晴空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空tmp一下 的所有目录

当我们执行stop-all.sh的时候,发现datanode并没有启动

  hadoop集群安装

最简单的解决办法就是,把NameNode和所有DataNode中的tmp目录下的所有目录全部删除,然后重新在namenode上format,问题随之消失。

  3.6 java.net.UnknownHostException: Slave_01 is not a valid Inet address

    hadoop集群安装

    出现此问题的原因是主机名中不能加下划线。

  3.7 Cannot delete /usr/local/hadoop/tmp/mapred/system. Name node is in safe mode

    hadoop集群安装

    解决方案是:关闭安全模式  hadoop dfsadmin -safemode leave

4.问题总结

    出现问题一定要去查看日志文件,不要因为一出错就不知所措,错误总有解决的办法。

     这里所说的查看日志不仅仅是查看master的日志,也要去查看各个Slave的日志。