搭建hadoop的高可用性（HA）集群

时间：2021-11-14 04:40:40

本文为传智播客八天——第五天学习笔记

因为电脑配置问题，只能同时运行三台虚拟机。三台是hadoop高可用性集群的最小数目。不能再少了。

前期准备：

1、修改linux主机名和IP

2、修改主机名和IP的映射关系

3、关闭防火墙

4、ssh免登录

5、安装JDK，配置环境变量


集群规划：

主机名                             IP                                     安装的软件                                         运行的进程

hadoop-master         172.16.123.1           JDK、hadoop、zookeeper      namenode、DFSZKFailoverController(zkfc)、QuorumPeerMain、JournalNode、DataNode

hadoop-slave1         172.16.123.128       JDK、hadoop、zookeeper      namenode、DFSZKFailoverController(zkfc)、QuorumPeerMain、JournalNode、DataNode、ResourceManager

hadoop-slave2         172.16.123.128       JDK、hadoop、zookeeper                                                                           QuorumPeerMain、JournalNode、DataNode、ResourceManager


1、安装hadoop集群（在hadoop-master上配置）

2.1修改hadoop-env.sh

export JAVA_HOME=/home/kun/soft/jdk1.8.0_60

2.2、修改core-site.xml

</pre><pre>

<configuration>

    <!--指定hdfs的nameservice为ns1-->
     <property>
        <name>fs.default.name</name>
        <value>hdfs://ns1/</value>
    </property>
<pre name="code" class="html"><!--指定hadoop的临时目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/kun/soft/hadoop-2.7.1/tmp</value>
    </property>
<!--指定zookeeper的地址-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop-master:2181,hadoop-slave1:2181,hadoop-slave2:2181</value>
    </property>

</configuration>

 
 

 

2.3、修改hdfs-site.xml
 

<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
<!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>hadoop-master:9000</value>
    </property>
<!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>hadoop-master:50070</value>
    </property>
<!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>hadoop-slave1:9000</value>
    </property>
<!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>hadoop-slave1:50070</value>
    </property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop-master:8485;hadoop-slave1:8485;hadoop-slave2:8485/ns1</value>
    </property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/kun/soft/hadoop-2.7.1/journaldata</value>
    </property>
<!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
<!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/kun/.ssh/id_rsa</value>
    </property>
<!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>



2.4、 
将mapred-site.xml.template修改mapred-site.xml 

 

 

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
 

 


 
 
2.5、修改yarn-site.xml 


<configuration>

<!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
<!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
<!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
<!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
         <value>hadoop-slave1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop-slave2</value>
    </property>
<!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop-master:2181,hadoop-slave1:2181,hadoop-slave2:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>




 

2.6、修改slaves
 

 

hadoop-master
hadoop-slave1
hadoop-slave2
 

3 
、将hadoop-2.7.1拷贝到hadoop-slave1和hadoop-slave2上面 

 

拷贝之前可以讲share中的doc文档删除，提高拷贝速度
 


 

4、配置zookeeper
 

见这里http://blog.csdn.net/beidiqiuren/article/details/51234325
 


 

5、启动zookeeper集群（在hadoop-master、hadoop-slave1、hadoop-slave2中都要启动）
 

 

nanda@hadoop-master:~/soft/zookeeper-3.4.5/bin$ ./zkServer.sh start
三台虚拟机都启动以后，查看状态，如果一个leader，两个follower则为正常的 

nanda@hadoop-master:~/soft/zookeeper-3.4.5/bin$ ./zkServer.sh status
 

 




6、 
启动journalnode（在hadoop-master、hadoop-slave1、hadoop-slave2中都要启动） 

 

nanda@hadoop-master:~/soft/hadoop-2.7.1/sbin$ ./hadoop-daemon.sh start journalnode
此时查看jps有三个进程 

 

 

6725 Jps
6460 QuorumPeerMain
6671 JournalNode
 


7、格式化HDFS
 

在hadoop-master上执行命令（也可以在hadoop-slave1上执行）
 

hdfs namenode -format
格式化后会根据core-site.xml中的hadoop.tmp.dir配置生成文件，这里配置的是 
home/kun/soft/hadoop-2.7.1/tmp 。为了保持两台namenode的fsimage初始值完全一致，所以需要将/home/kun/soft/hadoop-2.7.1/tmp 
文件拷贝到hadoop-slave1的相应的文件夹下（因为namenode只需要在hadoop-master和hadoop-slave1上启动，所以不需要拷贝到hadoop-slave2上）
 

 

也可以在hadoop-slave1上执行
 

hdfs namenode -bootstrapStandby
会自动拷贝hadoop-master上的namenode文件 

 


 

总算成功了，这一步耽搁了三天。不知道怎么错的，总是格式化失败。最后只好把虚拟机删了，重新配置环境。




 

 

8、格式化ZKFC（ZKFC做两个namenode的失败切换管理）
 

在hadoop-master上执行
 

hdfs zkfc -formatZK
zkfc会在zookeeper上写一些东西，可以在zookeeper下的bin目录中查看 

./zkCli.sh
 

ls /
如果有hadoop-ha则证明格式化成功了，此时hadoop-ha内应该是没有数据的。 

 


 

9、启动HDFS
 

在hadoop-master上执行
 

start-dfs.sh
如果出现The authenticity of host 'hadoop-master (172.16.123.1)' can't be established.请查看此http://blog.csdn.net/kimsoft/article/details/5865418 


此时hadoop-master上的进程有Jps、JournalNode、 DataNode、 NameNode、QuorumPeerMain、DFSZKFailoverController 

hadoop-slave1上的进程有Jps、JournalNode、 DataNode、 NameNode、QuorumPeerMain、DFSZKFailoverController 

 

hadoop-slave2上的进程有JournalNode、QuorumPeerMain、 Jps、DataNode

10、启动yarn
 

在hadoop-slave1和hadoop-slave2上启动，namenode和resourcemanager都需要占用大量的资源，条件允许的情况下把它们在不同的机器上启动
 

 

start-yarn.sh


此时hadoop-slave1和hadoop-slave2上都多处了resourcemanager进程 


 

此时，HA下的hadoop就搭建完成了。可以通过浏览器来访问
 

hadoop-master：50070
 

hadoop-slave1:8088
 


 

搭建hadoop的高可用性（HA）集群搭建hadoop的高可用性（HA）集群搭建hadoop的高可用性（HA）集群
 


 

在eclipse测试一下文件的上传
 

 

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HdfsUtilHA {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();

FileSystem fs = FileSystem.get(new URI("hdfs://ns1/"),conf);   //FileSystem.get(URI,conf,"身份");
fs.copyFromLocalFile(new Path("/home/kun/exam/a"), new Path("hdfs://ns1/"));


}
}
成功 


标签：
相关文章