在安装配置Hadoop集群的过程中遇到了很多问题,有些是配置导致的,有些是linux系统本身的问题造成的,现在总结如下。
1. hdfs namenode -format出现错误:hdfs namenode format cannot load main class
请检查环境变量HADOOP_HOME的设置是否正确,通常基于文件/etc/profile
2. sbin/start-dfs.sh 启动dfs过程中出现错误: call to localhost/127.0.0.1:9000 failed on connection exception
请查看log中启动的namenode的ip与预期的是否一致,如果不一致,需要注释掉/etc/hosts中localhost和:::1部分
3. 使用jps命令发现没有namenode的进程
请参考第二个问题,并进行解决
4. 使用lsof -i:9000命令发现9000端口没有被监听
请参考第二个问题,并进行解决
5. 不能访问hdfs://master:9000
请参考第二个问题,并进行解决
6. 配置ssh免密码登录的时候不能成功
请使用root账号进行操作
7. 环境变量到底放在哪里?/etc/bashrc, /etc/profile, ~/.bashrc, ~/.profile
前面两个是全局的,一般情况下hadoop相关的配置需要放在这里;
后面两个是user based的,并且可以重写前面两个中相同的环境变量,建议用户级别的放在这里。