hadoop集群搭建过程中遇到的问题

时间:2022-12-17 09:28:43

在安装配置Hadoop集群的过程中遇到了很多问题,有些是配置导致的,有些是linux系统本身的问题造成的,现在总结如下。

1. hdfs namenode -format出现错误:hdfs namenode format cannot load main class

请检查环境变量HADOOP_HOME的设置是否正确,通常基于文件/etc/profile

2. sbin/start-dfs.sh 启动dfs过程中出现错误: call to localhost/127.0.0.1:9000 failed on connection exception

请查看log中启动的namenode的ip与预期的是否一致,如果不一致,需要注释掉/etc/hosts中localhost和:::1部分

3. 使用jps命令发现没有namenode的进程

请参考第二个问题,并进行解决

4. 使用lsof -i:9000命令发现9000端口没有被监听

请参考第二个问题,并进行解决

5. 不能访问hdfs://master:9000

请参考第二个问题,并进行解决

6. 配置ssh免密码登录的时候不能成功

请使用root账号进行操作

7. 环境变量到底放在哪里?/etc/bashrc, /etc/profile, ~/.bashrc, ~/.profile

前面两个是全局的,一般情况下hadoop相关的配置需要放在这里;

后面两个是user based的,并且可以重写前面两个中相同的环境变量,建议用户级别的放在这里。