hadoop伪分布式集群搭建遇到的问题

时间:2021-10-01 06:08:02

今天搭建伪分布式集群,遇到了一些问题:

1、在启动namenode以后,jps提示command not found。

    解决: 将系统自带openJDK卸载,然后重新安装自己的jdk。 虽然hadoop的配置文件中用得是自己的,但是在命令行中是找得系统自带的jdk。(查阅资料:openJDK中/bin目录下没有jps这个命令)

export JAVA_HOME=/usr/share/jdk1.6.0_14 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

2、主机名与hadoop的配置信息不一致。(但是可以访问。)

     期初修改的是/etc/hosts文件,但是添加  172.16.1.1  linux1 映射。但是重启后,主机名没变。

    上网查阅资料: 修改/etc/sysconfig/network中 HOSTNAME=linux1 然后重启,生效。

     /etc/hosts 与/etc/sysconfig/network中配置主机名称有和区别?

  /etc/hosts:是设置ip 与域名的映射关系,和主机名没有任何关系。

      /etc/sysconfig/nstwork:是设置主机名称的。

      /etc/hostname 这个文件不存在。

注:网上一些文章说修改/etc.hostname但是我发现我的目录下没有此文件,这和linux发行版有关系。

值的指出的是,在其它Linux发行版中,并非都存在/etc/hostname文件。如Fedora发行版将主机名存放在/etc/sysconfig/network文件中。所以,修改主机名时应注意区分是哪种Linux发行版。

http://blog.csdn.net/wowfly98/article/details/51860919

http://blog.csdn.net/trochiluses/article/details/11483591 这个讲的很清楚。

3、在搭建hadoop伪集群时,有配置文件配置了很多端口。但是在网页*问hdfs时是70050,访问yarn是8088

上网查了一些关于hadoop 端口的设置信息:

http://blog.csdn.net/wulantian/article/details/46341043 

配置文件中配置的端口信息中:

有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。各有不同。


 很多人一提到更改hostname首先就想到修改/etc/hosts文件,认为hostname的配置文件就是/etc/hosts。其实不是的。hosts文件的作用相当于DNS,提供IP地址hostname的对应。早期的互联网计算机少,单机hosts文件里足够存放所有联网计算机。不过随着互联网的发展,这就远远不够了。于是就出现了分布式的DNS系统。由DNS服务器来提供类似的IP地址到域名的对应。Linux系统在向DNS服务器发出域名解析请求之前会查询/etc/hosts文件,如果里面有相应的记录,就会使用hosts里面的记录。由此,/etc/hosts于设置hostname是没直接关系的,仅仅当你要在本机上用新的hostname来映射自己的IP时候才会用到/etc/hosts文件。两者没有必然的联系。redhat的hostname的配置文件是/etc/sysconfig/network.

 

    /etc/hosts内容摘录如下:

          # Do not remove the following line, or various programs
          # that require network functionality will fail.
          192.168.1.102   localhost.localdomain  localhost
          127.0.0.1       localhost.localdomain  localhost
          ::1             localhost6.localdomain6 localhost6

    对以上内容的解释

    作用:hosts 文件是用来把主机名字映射到IP地址的方法,这种方法比较简单。但这种映射只是本地映射,也就是说每台机器都是独立的,所有的计算机都不能相互通过hostname来访问。

    格式:
       一般情况下hosts的内容关于主机名(hostname)的定义,每行为一个主机,每行由三部份组成,每个部份由空格隔开。其中#号开头的行做说明,不被系统解释。
     
       第一部份:网络IP地址;
     
       第二部份:主机名.域名,注意主机名和域名之间有个半角的点,比如 localhost.localdomain
     
       第二部份:主机名(主机名别名) ,其实就是主机名;
    注释:
       1)127.0.0.1 是回环地址,比如我们不想让局域网的其它机器看到我们测试的网络程序,就可以用回环地址来测试。
       2)为什么需要定义域名呢?其实理解也简单,比如我们有三台主机,每台做不同的事,一台做MAIL服务器,一台做FTP服务器,一台做SMB服务器,所以我们就可以这样来设计hostname;
     
       127.0.0.1 localhost.localdomain localhost
     
       192.168.1.2 ftp
     
       192.168.1.3 mail.localdomain mail
     
       192.168.1.4 smb.localdomin smb

    把这上面这个配置文件的内容分别写入每台机器的/etc/hosts内容中,这样这三台局域网的机器就可以通过hostname来访问了。也就是,在局域网中,主机名也是可以解析到IP上的,相当于DNS域名解析。

    对于主机名的修改有两种方式:hostname和/etc/sysconfig/network

   

  1. [root@think ~]# hostname   
  2. thin  
  3. [root@think ~]# hostname think  
  4. [root@think ~]# hostname  
  5. think  

    通过hostname 这个kernel变量来设置主机名只是临时的,下次重启系统时,此主机名将不会存在.hostname也可用于显示:hostname -i。如果要永久修改RedHat hostname,就修改/etc/sysconfig/network文件,将里面的HOSTNAME这一行修改成HOSTNAME=NEWNAME,其中NEWNAME就是你要设置的hostname。


2./hosts文件可以帮助解决哪些问题

2.1 远程登录linux主机过慢问题

有时客户端想远程登录一台linux主机,但每次登录输入密码后都会等很长一段时间才会进入,这是因为linux主机在返回信息时需要解析ip,如果在linux主机的hosts文件事先加入客户端的ip地址,这时再从客户端远程登录linux就会变很快。

注:这里所说的远程登录不仅仅是ssh,还可能是mysql远程登录,或是文件共享的查询等。

2.2 双机互连

当两台主机只是双机互连时,这时两台主机都需要设置自己的ip,同时在对方的hosts文件里加入自己的ip和主机名。

注:不同发行版的主机名称对应文件可以通过man host那么进行查阅


3.关于FQDN

FQDN:(Fully Qualified Domain Name)完全合格域名/全称域名,是指主机名加上全路径,全路径中列出了序列中所有域成员。全域名可以从逻辑上准确地表示出主机在什么地方,也可以说全域名是主机名的一种完全表示形式。从全域名中包含的信息可以看出主机在域名树中的位置。DNS解析流程:首先查找本机HOSTS表,有的直接使用表中定义,没有查找网络连接中设置的DNS 服务器由他来解析。