Hadoop学习（一）：完全分布式集群环境搭建

时间：2023-03-08 17:17:59
Hadoop学习（一）：完全分布式集群环境搭建

1. 设置免密登录

(1) 新建普通用户hadoop：useradd hadoop
(2) 在主节点master上生成密钥对，执行命令ssh-keygen -t rsa便会在home文件夹下生成 .ssh 文件以及id_rsa和id_rsa.pub文件 注意：.ssh文件夹的权限为700，否则会影响其他机器的免密登录
(3) 执行命令：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 authorized_keys #修改文件的权限为600

(4) 将authorized_keys文件拷贝到下一个主机上后重复上述操作。

scp ~/.ssh/authorized_keys hadoop@slave1:/home/hadoop/.ssh/authorized_keys

若拷贝出错，则在.ssh文件 可手动建立，但是注意修改其权限为700：chmod 700 .ssh
。。。
以此类推，最终在最后一个节点上的authorized_keys上包括了所有主机的公钥，再将它拷贝到其他节点上，完成免密登录的设置。

2.设置hosts文件

本人搭建的Hadoop环境包括有一个主节点和三个从节点，配置为：一个NameNode，一个SecondaryNameNode以及两个DataNode。
/etc/hosts添加配置如下

10.0.209.122 master122 hadoop-NameNode-122
10.0.209.123 slave123 hadoop-SecondaryNameNode-123
10.0.209.124 slave124 hadoop-DataNode-124
10.0.209.125 slave125 hadoop-DataNode-125

在一个主机上配置完成后，将该文件拷贝到其他节点之上。

3.安装Hadoop

首先，在master节点上，使用root用户在/usr/local/文件夹下新建hadoop文件夹，并修改该文件夹对普通用户有读写权限

mkdir /usr/local/hadoop

chmod 777 /usr/local/hadoop

使用普通用户hadoop登录：su hadoop
下载jdk1.8安装包以及hadoop的安装包，并加压文件到/usr/local/hadoop下

wget wget http://apache.claz.org/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz

tar -xzvf hadoop-2.8.1.tar.gz -C /usr/local/hadoop

加压后/usr/local/hadoop/文件夹下包含jdk1.8以及hadoop2.8.1，
切换到root用户，编辑/etc/profile文件

JAVA_HOME=/usr/local/hadoop/jdk1.8.0_102

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.1

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export JAVA_HOME

export PATH

export HADOOP_HOME

export CLASSPATH

保存后执行source /etc/profile 使其立即生效。
然后执行java -version和hadoop version验证，配置安装成功。

4.配置Hadoop集群

(1). 配置core-site.xml

修改Hadoop核心配置文件/usr/local/hadoop/etc/hadoop/core-site.xml，通过fs.default.name指定NameNode的IP地址和端口号，通过hadoop.tmp.dir指定hadoop数据存储的临时文件夹。

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/hadoop-2.8.1/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master122:9000</value>

</property>

</configuration>

特别注意：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被删除，必须重新执行format才行，否则会出错。
(2).配置hdfs-site.xml

修改HDFS核心配置文件/usr/local/hadoop/etc/hadoop/hdfs-site.xml，通过dfs.replication指定HDFS的备份因子为3，通过dfs.name.dir指定namenode节点的文件存储目录，通过dfs.data.dir指定datanode节点的文件存储目录。

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/usr/local/hadoop/hdfs/name</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/usr/local/hadoop/hdfs/data</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name> #配置SecondaryNameNode

<value>slave123:50090</value>

</property>

</configuration>

(3).配置mapred-site.xml

拷贝mapred-site.xml.template为mapred-site.xml，再进行修改。

cp /usr/local/hadoop/hadoop-2.8.1/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.8.1/etc/hadoop/mapred-site.xml

vi /usr/local/hadoop/hadoop-2.8.1/etc/hadoop/mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>http://hadoop-master:9001</value>

</property>

</configuration>

(4).配置yarn-site.xml

<!-- Site specific YARN configuration properties –>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop-master</value>

</property>

</configuration>

(5).配置masters文件

增加/usr/local/hadoop/etc/hadoop/masters文件，该文件指定namenode节点所在的服务器机器。添加namenode节点的主机名master122；不建议使用IP地址，因为IP地址可能会变化，但是主机名一般不会变化。另外，为将SecondaryNameNode与NameNode分开，可将SecondaryNameNode节点的主机也加入到masters文件之中。

master122

slave123

(6).配置slaves节点（Master主机特有）

修改/usr/local/hadoop/etc/hadoop/slaves文件，该文件指定哪些服务器节点是datanode节点。删除locahost，添加所有datanode节点的主机名，如下所示。

vi /usr/local/hadoop/hadoop-2.8.1/etc/hadoop/slaves

slave123
slave124
slave125

(7).配置hadoop-env.sh文件

修改jdk的目录，以及集群间免密互连的端口（由于本人修改了ssh的默认端口，而hadoop默认是以22端口连接，所以需要进行添加配置）

export JAVA_HOME=/usr/local/hadoop/jdk1.8.0_102 #修改jdk路径

export HADOOP_SSH_OPTS="-p 22000" #添加ssh自定义端口

(8).配置ssh客户端配置

由于修改了ssh的默认端口，使得在使用ssh以及scp时都要加上-p/-P 非常的繁琐（主要是因为懒，懒是人类进步的阶梯），所以修改ssh的客户端配置，使其默认配置端口为自定义端口。

vi /etc/ssh/ssh_config

Port 22000 #将源端口22修改为自定义端口22000

5.同步配置到其他节点

第4步配置是在主节点master上进行的配置，下面要将上述配置好的jdk以及hadoop软件包拷贝到其他从节点上，首先在各个从节点建立文件夹/usr/local/hadoop，并将其权限设置为777，然后用普通用户hadoop执行命令：

scp -r /usr/local/hadoop/* slave123:/usr/local/hadoop/ &

scp -r /usr/local/hadoop/* slave124:/usr/local/hadoop/ &

scp -r /usr/local/hadoop/* slave125:/usr/local/hadoop/ &

由于已经配置ssh客户端的连接端口，所以这里不需要特意指定，加‘&’因为hadoop/下包含jdk以及hadoop软件包，文件很大，放入后台执行更方便。
下面继续将/etc/profile下的JAVA_HOME和HADOOP_HOME配置同步配置到其他节点，至此集群的搭建配置完成。

6.启动集群

在主节点master上进入到/usr/local/hadoop/hadoop-2.8.1/执行命令：

bin/hadoop namenode -format #格式化namenode，第一次启动服务前执行的操作，以后不需要执行。

然后启动hadoop:

sbin/start-all.sh

执行jps命令查看运行情况
通过简单的jps命令虽然可以查看HDFS文件管理系统、MapReduce服务是否启动成功，但是无法查看到Hadoop整个集群的运行状态。我们可以通过hadoop dfsadmin -report进行查看。用该命令可以快速定位出哪些节点挂掉了，HDFS的容量以及使用了多少，以及每个节点的硬盘使用情况。
停止hadoop命令：sbin/stop-all.sh

至此，hadoop集群搭建配置完毕。

7.可能的错误

The authenticity of host ‘0.0.0.0 (0.0.0.0)’ can’t be established.

解决方案：关闭SELINUX

-- 关闭SELINUX
# vim /etc/selinux/config
-- 注释掉
#SELINUX=enforcing
#SELINUXTYPE=targeted
-- 添加
SELINUX=disabled

相关文章