搭建hadoop的高可用性(HA)集群

时间:2021-11-14 04:40:40

本文为传智播客八天——第五天学习笔记

因为电脑配置问题,只能同时运行三台虚拟机。三台是hadoop高可用性集群的最小数目。不能再少了。

前期准备:

1、修改linux主机名和IP

2、修改主机名和IP的映射关系

3、关闭防火墙

4、ssh免登录

5、安装JDK,配置环境变量


集群规划:

主机名                             IP                                     安装的软件                                         运行的进程

hadoop-master         172.16.123.1           JDK、hadoop、zookeeper      namenode、DFSZKFailoverController(zkfc)、QuorumPeerMain、JournalNode、DataNode

hadoop-slave1         172.16.123.128       JDK、hadoop、zookeeper      namenode、DFSZKFailoverController(zkfc)、QuorumPeerMain、JournalNode、DataNode、ResourceManager

hadoop-slave2         172.16.123.128       JDK、hadoop、zookeeper                                                                           QuorumPeerMain、JournalNode、DataNode、ResourceManager


1、安装hadoop集群(在hadoop-master上配置)

2.1修改hadoop-env.sh

export JAVA_HOME=/home/kun/soft/jdk1.8.0_60

2.2、修改core-site.xml

</pre><pre>

<configuration>

<!--指定hdfs的nameservice为ns1-->
<property>
<name>fs.default.name</name>
<value>hdfs://ns1/</value>
</property>
<pre name="code" class="html"><!--指定hadoop的临时目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/kun/soft/hadoop-2.7.1/tmp</value>
</property>
<!--指定zookeeper的地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop-master:2181,hadoop-slave1:2181,hadoop-slave2:2181</value>
</property>

</configuration>

 
 

2.3、修改hdfs-site.xml

<configuration>
<!--指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
<!-- ns1下面有两个NameNode,分别是nn1,nn2 -->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
<!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>hadoop-master:9000</value>
    </property>
<!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>hadoop-master:50070</value>
    </property>
<!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>hadoop-slave1:9000</value>
    </property>
<!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>hadoop-slave1:50070</value>
    </property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop-master:8485;hadoop-slave1:8485;hadoop-slave2:8485/ns1</value>
    </property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/kun/soft/hadoop-2.7.1/journaldata</value>
    </property>
<!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
<!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
<!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/kun/.ssh/id_rsa</value>
    </property>
<!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

2.4、 将mapred-site.xml.template修改mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>


2.5、修改yarn-site.xml

<configuration>

<!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
<!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
<!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
<!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
         <value>hadoop-slave1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop-slave2</value>
    </property>
<!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop-master:2181,hadoop-slave1:2181,hadoop-slave2:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>


2.6、修改slaves

hadoop-master
hadoop-slave1
hadoop-slave2

3 、将hadoop-2.7.1拷贝到hadoop-slave1和hadoop-slave2上面

拷贝之前可以讲share中的doc文档删除,提高拷贝速度


4、配置zookeeper

见这里http://blog.csdn.net/beidiqiuren/article/details/51234325


5、启动zookeeper集群(在hadoop-master、hadoop-slave1、hadoop-slave2中都要启动)

nanda@hadoop-master:~/soft/zookeeper-3.4.5/bin$ ./zkServer.sh start
三台虚拟机都启动以后,查看状态,如果一个leader,两个follower则为正常的
nanda@hadoop-master:~/soft/zookeeper-3.4.5/bin$ ./zkServer.sh status


6、 启动journalnode(在hadoop-master、hadoop-slave1、hadoop-slave2中都要启动)

nanda@hadoop-master:~/soft/hadoop-2.7.1/sbin$ ./hadoop-daemon.sh start journalnode
此时查看jps有三个进程

6725 Jps
6460 QuorumPeerMain
6671 JournalNode


7、格式化HDFS

在hadoop-master上执行命令(也可以在hadoop-slave1上执行)

hdfs namenode -format
格式化后会根据core-site.xml中的hadoop.tmp.dir配置生成文件,这里配置的是 home/kun/soft/hadoop-2.7.1/tmp 。为了保持两台namenode的fsimage初始值完全一致,所以需要将/home/kun/soft/hadoop-2.7.1/tmp 文件拷贝到hadoop-slave1的相应的文件夹下(因为namenode只需要在hadoop-master和hadoop-slave1上启动,所以不需要拷贝到hadoop-slave2上)

也可以在hadoop-slave1上执行

hdfs namenode -bootstrapStandby
会自动拷贝hadoop-master上的namenode文件


总算成功了,这一步耽搁了三天。不知道怎么错的,总是格式化失败。最后只好把虚拟机删了,重新配置环境。


8、格式化ZKFC(ZKFC做两个namenode的失败切换管理)

在hadoop-master上执行

hdfs zkfc -formatZK
zkfc会在zookeeper上写一些东西,可以在zookeeper下的bin目录中查看
./zkCli.sh
ls /
如果有hadoop-ha则证明格式化成功了,此时hadoop-ha内应该是没有数据的。


9、启动HDFS

在hadoop-master上执行

start-dfs.sh
如果出现The authenticity of host 'hadoop-master (172.16.123.1)' can't be established.请查看此http://blog.csdn.net/kimsoft/article/details/5865418

此时hadoop-master上的进程有Jps、JournalNode、 DataNode、 NameNode、QuorumPeerMain、DFSZKFailoverController
hadoop-slave1上的进程有Jps、JournalNode、 DataNode、 NameNode、QuorumPeerMain、DFSZKFailoverController

hadoop-slave2上的进程有JournalNode、QuorumPeerMain、 Jps、DataNode

10、启动yarn

在hadoop-slave1和hadoop-slave2上启动,namenode和resourcemanager都需要占用大量的资源,条件允许的情况下把它们在不同的机器上启动

start-yarn.sh
此时hadoop-slave1和hadoop-slave2上都多处了resourcemanager进程

此时,HA下的hadoop就搭建完成了。可以通过浏览器来访问

hadoop-master:50070

hadoop-slave1:8088


搭建hadoop的高可用性(HA)集群搭建hadoop的高可用性(HA)集群搭建hadoop的高可用性(HA)集群


在eclipse测试一下文件的上传

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HdfsUtilHA {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();

FileSystem fs = FileSystem.get(new URI("hdfs://ns1/"),conf); //FileSystem.get(URI,conf,"身份");
fs.copyFromLocalFile(new Path("/home/kun/exam/a"), new Path("hdfs://ns1/"));


}
}
成功