3台机器配置hadoop集群_Hadoop+Hbase 分布式集群架构

安装搭建Hadoop

1、 配置说明

本次集群搭建共三台机器，具体说明下：

主机名	IP	说明
nn01	192.168.1.51	DataNode、NodeManager、ResourceManager、NameNode
dn01	192.168.1.52	DataNode、NodeManager、SecondaryNameNode
dn02	192.168.1.53	DataNode、NodeManager

2 、安装前准备

2.1 机器配置说明

2.2 关闭 SELinux、防火墙

2.3 准备用户

useradd hadoop　　创建用户username

passwd hadoop 　 给已创建的用户username设置密码Jy6@2022

2.4 修改 Hosts 文件，域名解析

vi /etc/hosts

192.168.1.51 nn01

192.168.1.52 dn01

192.168.1.53 dn02

2.5 同步时间

2.6 SSH 互信配置

(1)生成密钥对，一直回车即可

ssh-keygen

1. 保证每台服务器各自都有对方的公钥

hadoop用户

ssh-copy-id -i ~/.ssh/id_rsa.pub 127.0.0.1

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop01

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop02

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop03

root用户

ssh-copy-id -i ~/.ssh/id_rsa.pub 127.0.0.1

ssh-copy-id -i ~/.ssh/id_rsa.pub nn01

ssh-copy-id -i ~/.ssh/id_rsa.pub dn01

ssh-copy-id -i ~/.ssh/id_rsa.pub dn02

注：要在集群所有服务器都进行操作

2. 验证无秘钥认证登录

ssh hadoop@nn01

ssh hadoop@dn01

ssh hadoop@dn02

3、 配置 JDK

在三台机器上都需要操作

4、 安装 Hadoop

[root@hadoop01~]#wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

[root@hadoop01 ~]# tar -xvf hadoop-3.2.0.tar.gz -C /usr/local/

[root@hadoop01 ~]# chown hadoop.hadoop -R /usr/local/hadoop-3.2.0/

[root@hadoop01 ~]# ln -s /usr/local/hadoop-3.2.0/ /usr/local/hadoop

4.1、 配置启动 Hadoop

4.1.1、 hadoop-env.sh 配置 Hadoop 环境变量

cd /usr/local/hadoop/etc/hadoop

vi hadoop-env.sh

export JAVA_HOME=/mnt/soft/jdk1.8.0_251

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

4.1.2、 core-site.xml 配置 HDFS

vi core-site.xml

<!--指定HDFS默认（namenode）的通信地址-->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop01:9000</value>

</property>

<!--指定Hadoop运行时产生文件的存储路径-->

<property>

<name>hadoop.tmp.dir</name>

<value>/mnt/data/hadoop/tmp</value>

</property>

4.1.3、 hdfs-site.xml 配置 NameNode

[along@hadoop01 hadoop]$ vim hdfs-site.xml

<!--指定master-->

<property>

<name>hbase.rootdir</name>

<value>hdfs://nn01:8020/hbase</value>

</property>

<!--开启分布式-->

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<!--所有可用的zk-->

<property>

<name>hbase.zookeeper.quorum</name>

<value>nn01,dn01,dn02</value>

</property>

<!--给zk用的目录, 必须保证是个空的给zk用-->

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/mnt/data/hbase/zookeeper</value>

</property>

4.2、 授权

chown -R hadoop.hadoop /usr/local/hadoop-3.2.0/

chown -R hadoop.hadoop /mnt/data/hadoop

4.3、 启动 Hadoop 集群

4.3.1、 第一次启动前需要格式化，集群所有服务器都需要

三台机器都需要执行/usr/local/hadoop-3.2.0/bin

hdfs namenode -format

4.3.2 、启动并验证集群

1. 启动 NameNode、DataNode

/usr/local/hadoop-3.2.0/sbin

start-dfs.sh

5、 安装配置 Hbase

5.1、 安装 Hbase

[root@hadoop01~]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.4.9/hbase-1.4.9-bin.tar.gz

[root@hadoop01 ~]# tar -xvf hbase-1.4.9-bin.tar.gz -C /usr/local/

[root@hadoop01 ~]# chown -R hadoop.hadoop /usr/local/hbase/

5.2、 指定集群节点

6、 启动 Hbase 集群

6.1、 启动前准备

mkdir /mnt/data/hbase/zookeeper

6.2、 启动 Hbase

注：只需在 Hadoop01 服务器上操作即可。

1. 启动

start-hbase.sh

2. 验证

至此，hbase分布式集群搭建完成！