hadoop集群环境搭建的血泪史

时间:2022-08-10 04:51:02

寒假从老家回来之后就着手hadoop集群环境的搭建,预期两天干完,最后花了四天才搞定。一方面是寒假里比较懒散,做事没什么效率,另一方面也的确是受了误导,走了不少弯路。网上hadoop集群环境搭建的文章一搜一大把,但真正靠谱的没几篇,要么是hadoop版本太老,要么是步骤有缺漏。最后还是看师兄发给我的“7天学会hadoop”视频,才解决了问题。说实话,以前我挺看不起带标题是这种“X天学会XX”的东西,如今才感觉到这种东西也有它的价值。


环境:

win7环境下用vmware创建了3台虚拟机,系统都是ubuntu14.04,hadoop版本2.6.4。

问题:

1.ip的问题。

在配置ssh免密码认证时出现了master连不上slave2的情况。在slave2上用ifconfig命令查询ip,发现slave2的ip地址竟然自动改变了,我靠!百度之后才知道有动态ip和静态ip之分,之后折腾了大半个下午才搞定。

2./etc/hosts文件的配置

ubuntu的这个文件中把主机名映射到ip127.0.1.1。我栽在了这个"臭名昭著"(apache文档中这么说的)的映射关系上。这个关系一定要注释掉,不然就删除掉,然后再加上自己的ip地址。


学新东西,热情很重要,学习资料也很重要,靠谱的资料能带你有效的避开很多坑。

另外在查问题的过程中发现一张比较靠谱的帖子,建议需要搭建hadoop集群环境的朋友去这里看:http://www.aboutyun.com/thread-7684-1-1.html