大数据学习笔记——Hbase高可用+完全分布式完整部署教程

时间:2023-01-20 20:20:32

Hbase高可用+完全分布式完整部署教程

本篇博客承接上一篇sqoop的部署教程,将会详细介绍完全分布式并且是高可用模式下的Hbase的部署流程,废话不多说,我们直接开始!

1. 安装准备

部署Hbase时,我们使用的版本为1.2.8

大数据学习笔记——Hbase高可用+完全分布式完整部署教程

2. 正式安装

1. 将hbase-1.2.8-bin.tar.gz文件使用远程传输软件放到s101的/home/centos/downloads下

2. 将hbase-1.2.8-bin.tar.gz解压缩至/soft下

tar -xzvf /home/centos/downloads/hbase-1.2.8-bin.tar.gz -C /soft

3. 进入/soft目录,建立hbase的符号链接

cd /soft

ln -s hbase-1.2.8 hbase

4. 修改并生效环境变量

nano /etc/profile

在文件末尾添加以下代码:

#hbase环境变量

export HBASE_HOME=/soft/hbase

export PATH=$PATH:$HBASE_HOME/bin

生效环境变量后保存退出

source /etc/profile

5. 分发hbase以及hbase的符号链接到其他所有的节点

xsync.sh /soft/hbase-1.2.8

然后在其他每个节点上输入命令:

cd /soft

ln -s hbase-1.2.8 hbase

6. 同步环境变量

xsync.sh /etc/profile

然后在每个节点上生效环境变量:

xcall.sh source /etc/profile

7. 先只在s101节点上修改配置文件regionservers,类似于部署Hadoop时修改的slaves文件

nano /soft/hbase/conf/regionservers

添加以下代码:

s102

s103

s104

8. 在s101上修改配置文件hbase-env.sh

nano /soft/hbase/conf/hbase-env.sh

因为HBase自带的就有zookeeper,因此我们需要将下面这个设置成false,从而可以使用我们自己的zookeeper配置

修改:export HBASE_MANAGES_ZK=false

export JAVA_HOME=/soft/jdk

9. 在s101上修改配置文件hbase-site.xml

nano /soft/hbase/conf/hbase-site.xml

添加以下配置即可:

<configuration>
<!-- 启动hbase分布式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- hbase工作目录 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://mycluster/user/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/centos/zk</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>s102:2181,s103:2181,s104:2181</value>
</property>
</configuration>

10. 在s101上将hadoop配置文件core-site.xml和hdfs-site.xml放置在/soft/hbase/conf下

cp /soft/hadoop/etc/hadoop/core-site.xml /soft/hbase/conf/

cp /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/hbase/conf/

11. s101上的配置文件均已配置完毕,现在进行同步

xsync.sh /soft/hbase/conf/

12. 高可用配置:在/soft/hbase/conf/下添加backup-masters文件

nano /soft/hbase/conf/backup-masters

添加:s105

13. 全部配置完毕,启动hbase

由于hbase是架构在HDFS文件系统上的,因此需要先启动zookeeper和HDFS

xzk.sh start

start-dfs.sh

最后再启动hbase:

start-hbase.sh

14. 验证启动是否成功

hbase version,出现下面的画面:

大数据学习笔记——Hbase高可用+完全分布式完整部署教程

查看WebUI:s101:16010,发现Master和备份Master还有Region Servers都已经启动,配置大功告成!!!

大数据学习笔记——Hbase高可用+完全分布式完整部署教程