今天搭建伪分布式集群,遇到了一些问题:
1、在启动namenode以后,jps提示command not found。
解决: 将系统自带openJDK卸载,然后重新安装自己的jdk。 虽然hadoop的配置文件中用得是自己的,但是在命令行中是找得系统自带的jdk。(查阅资料:openJDK中/bin目录下没有jps这个命令)
export JAVA_HOME=/usr/share/jdk1.6.0_14
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
2、主机名与hadoop的配置信息不一致。(但是可以访问。)
期初修改的是/etc/hosts文件,但是添加 172.16.1.1 linux1 映射。但是重启后,主机名没变。
上网查阅资料: 修改/etc/sysconfig/network中 HOSTNAME=linux1 然后重启,生效。
/etc/hosts 与/etc/sysconfig/network中配置主机名称有和区别?
/etc/hosts:是设置ip 与域名的映射关系,和主机名没有任何关系。
/etc/sysconfig/nstwork:是设置主机名称的。
/etc/hostname 这个文件不存在。
注:网上一些文章说修改/etc.hostname但是我发现我的目录下没有此文件,这和linux发行版有关系。
值的指出的是,在其它Linux发行版中,并非都存在/etc/hostname文件。如Fedora发行版将主机名存放在/etc/sysconfig/network文件中。所以,修改主机名时应注意区分是哪种Linux发行版。
http://blog.csdn.net/wowfly98/article/details/51860919
http://blog.csdn.net/trochiluses/article/details/11483591 这个讲的很清楚。
3、在搭建hadoop伪集群时,有配置文件配置了很多端口。但是在网页*问hdfs时是70050,访问yarn是8088
上网查了一些关于hadoop 端口的设置信息:
http://blog.csdn.net/wulantian/article/details/46341043
配置文件中配置的端口信息中:
有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。各有不同。
很多人一提到更改hostname首先就想到修改/etc/hosts文件,认为hostname的配置文件就是/etc/hosts。其实不是的。hosts文件的作用相当于DNS,提供IP地址hostname的对应。早期的互联网计算机少,单机hosts文件里足够存放所有联网计算机。不过随着互联网的发展,这就远远不够了。于是就出现了分布式的DNS系统。由DNS服务器来提供类似的IP地址到域名的对应。Linux系统在向DNS服务器发出域名解析请求之前会查询/etc/hosts文件,如果里面有相应的记录,就会使用hosts里面的记录。由此,/etc/hosts于设置hostname是没直接关系的,仅仅当你要在本机上用新的hostname来映射自己的IP时候才会用到/etc/hosts文件。两者没有必然的联系。redhat的hostname的配置文件是/etc/sysconfig/network.
/etc/hosts内容摘录如下:
# Do not remove the following line, or various programs
# that require network functionality will fail.
192.168.1.102 localhost.localdomain localhost
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
对以上内容的解释
作用:hosts 文件是用来把主机名字映射到IP地址的方法,这种方法比较简单。但这种映射只是本地映射,也就是说每台机器都是独立的,所有的计算机都不能相互通过hostname来访问。
格式:
一般情况下hosts的内容关于主机名(hostname)的定义,每行为一个主机,每行由三部份组成,每个部份由空格隔开。其中#号开头的行做说明,不被系统解释。
第一部份:网络IP地址;
第二部份:主机名.域名,注意主机名和域名之间有个半角的点,比如 localhost.localdomain
第二部份:主机名(主机名别名) ,其实就是主机名;
注释:
1)127.0.0.1 是回环地址,比如我们不想让局域网的其它机器看到我们测试的网络程序,就可以用回环地址来测试。
2)为什么需要定义域名呢?其实理解也简单,比如我们有三台主机,每台做不同的事,一台做MAIL服务器,一台做FTP服务器,一台做SMB服务器,所以我们就可以这样来设计hostname;
127.0.0.1 localhost.localdomain localhost
192.168.1.2 ftp
192.168.1.3 mail.localdomain mail
192.168.1.4 smb.localdomin smb
把这上面这个配置文件的内容分别写入每台机器的/etc/hosts内容中,这样这三台局域网的机器就可以通过hostname来访问了。也就是,在局域网中,主机名也是可以解析到IP上的,相当于DNS域名解析。
对于主机名的修改有两种方式:hostname和/etc/sysconfig/network
- [root@think ~]# hostname
- thin
- [root@think ~]# hostname think
- [root@think ~]# hostname
- think
通过hostname 这个kernel变量来设置主机名只是临时的,下次重启系统时,此主机名将不会存在.hostname也可用于显示:hostname -i。如果要永久修改RedHat hostname,就修改/etc/sysconfig/network文件,将里面的HOSTNAME这一行修改成HOSTNAME=NEWNAME,其中NEWNAME就是你要设置的hostname。
2./hosts文件可以帮助解决哪些问题
2.1 远程登录linux主机过慢问题
有时客户端想远程登录一台linux主机,但每次登录输入密码后都会等很长一段时间才会进入,这是因为linux主机在返回信息时需要解析ip,如果在linux主机的hosts文件事先加入客户端的ip地址,这时再从客户端远程登录linux就会变很快。
注:这里所说的远程登录不仅仅是ssh,还可能是mysql远程登录,或是文件共享的查询等。
2.2 双机互连
当两台主机只是双机互连时,这时两台主机都需要设置自己的ip,同时在对方的hosts文件里加入自己的ip和主机名。
注:不同发行版的主机名称对应文件可以通过man host那么进行查阅
3.关于FQDN
FQDN:(Fully Qualified Domain Name)完全合格域名/全称域名,是指主机名加上全路径,全路径中列出了序列中所有域成员。全域名可以从逻辑上准确地表示出主机在什么地方,也可以说全域名是主机名的一种完全表示形式。从全域名中包含的信息可以看出主机在域名树中的位置。DNS解析流程:首先查找本机HOSTS表,有的直接使用表中定义,没有查找网络连接中设置的DNS 服务器由他来解析。