CDH6.2.0集群新增节点

时间:2024-03-30 13:31:27

CDH6.2.0集群新增节点

背景:原有服务器集群因资源不够,需要在原有cdh集群上添加新的节点(datanode、nodemanager、kafkabroker、hbaseregionserver),ClouderaManager提供了一种可视化的添加方式。

一、新加机器环境配置

首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和Python。

二.安装cloudera-manager-agent

rpm安装
yum install cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm
config配置
编辑/etc/cloudera-scm-agent/config.ini文件,将host_server修改为master
启动angent:
systemctl start cloudera-scm-agent

1、2两步可以查看上一篇cdh搭建的帖子:
https://blog.csdn.net/Jason__zhu/article/details/106478204

三.添加主机

1.选择添加主机

CDH6.2.0集群新增节点

2.选择添加到当前的cdh集群

CDH6.2.0集群新增节点

3.选择将要新增的节点,启动cloudera-manager-agent后,可在当前管理的主机中看到

CDH6.2.0集群新增节点

经过检查主机正确性这一步后,可以先不添加角色,先把节点加进去,然后通过创建主机模板给新加的节点添加所需的角色

4.创建主机模板:

CDH6.2.0集群新增节点

5.编辑主机模板

CDH6.2.0集群新增节点

6.应用主机模板:

CDH6.2.0集群新增节点
CDH6.2.0集群新增节点

7.选择刚刚创建的主机模板点击确认就ok

CDH6.2.0集群新增节点

角色添加后的操作:

1.添加了datanode,则按需将hdfs的副本数进行修改

CDH6.2.0集群新增节点

2.添加了kafkabroker,则可以按需修改对应的偏移量保存的副本数

CDH6.2.0集群新增节点

3.添加了nodemanager后,则根据新节点的配置修改容器的内存

CDH6.2.0集群新增节点