hadoop集群搭建过程中所遇问题总结

时间:2022-11-22 16:34:56

在搭建过程中遇到了些问题,个人认为不是很典型。但都是自己各种试错解决的。耗费了些时间。 有些问题的确不是很好描述,google也不是那么好使了。

我会采用一问一答的形式,方便有碰到与我类似问题的朋友。

1、jdk环境配置 出错 source /etc/profile/ 一直不成功 怎么办?

我回头看了下,发现 配置文件 = 两边有空格符。将空格符去掉就解决掉这个问题了。 切忌:配置文件里等号左右不可有空格符。


2、hadoop文件夹缺失 tmp 文件夹,namenode  格式化不成功  出现  Formated aborted in path

 即便有这个错误,我也可以正常使用hdfs 上传 下载文件。 但是无法亲自查看文件在datanode上的block块。

我认为这个错误与配置文件有关系,对配置文件的格式改了下,但是显然不起作用。 

最后发现  配置文件中是不能识别 ~ 家目录符号的。 必须用实际工作目录代替。这些问题不遇到真的是注意不到。

改了配置文件 ,tmp文件夹出来了。 over


3、还有一个是 经常跳出 警告信息 HADOOP_HOME is deprecated

这个我随便百度了下 ,就解决了。很容易解决。