CentOS7安装CDH 第九章:CDH中安装Kafka

时间:2024-01-06 08:19:56

相关文章链接

CentOS7安装CDH 第一章:CentOS7系统安装

CentOS7安装CDH 第二章:CentOS7各个软件安装和启动

CentOS7安装CDH 第三章:CDH中的问题和解决方法

CentOS7安装CDH 第四章:CDH的版本选择和安装方式

CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0

CentOS7安装CDH 第六章:CDH的管理-CDH5.12

CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置

CentOS7安装CDH 第八章:CDH中对服务和机器的添加与删除操作

CentOS7安装CDH 第九章:CDH中安装Kafka

CentOS7安装CDH 第十章:CDH中安装Spark2

CentOS7安装CDH 第十一章:离线升级CDH版本

CentOS7安装CDH 第十二章:YARN的资源调优

CentOS7安装CDH 第十三章:CDH资源池配置

CentOS7安装CDH 第十四章:CDH的优化

1. CDH官网Kafka的安装教程网址

https://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html#concept_m2t_d45_4r

CentOS7安装CDH 第九章:CDH中安装Kafka

2. 下载对应的Kafka版本

1、查看CDH和Kafka的版本对应列表:

查看网址:https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka

CentOS7安装CDH 第九章:CDH中安装Kafka

2、因为安装的CDH版本为5.10或5.12,故选择的Kafka版本为2.2.x和0.10.2,此时去网站找到对应的Kafka版本:

网址:https://www.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html#concept_fzg_phl_br

CentOS7安装CDH 第九章:CDH中安装Kafka

3、点击对应的下载地址,下载该Kafka的parcel包(需更改sha1的后缀名):

CentOS7安装CDH 第九章:CDH中安装Kafka

3. 安装Kafka服务

1、将Kafka的parcel包(3个文件)上传到/var/www/html/kafka_parcel目录下,需配置好https服务,请参考上述CDH安装时的方法配置,在浏览器上能访问到如下场景即可:

CentOS7安装CDH 第九章:CDH中安装Kafka

2、点击CDH主页面中的主机下面的Parcel按钮:

CentOS7安装CDH 第九章:CDH中安装Kafka

3、点击Parcel界面的配置按钮,配置Kafka的地址,该地址默认是官网地址,但在CDH的离线安装时已将所有的在线地址删除,所以在这加上Kafka的Parcel包的离线地址即可:

CentOS7安装CDH 第九章:CDH中安装Kafka

4、在Parcel界面,点击Kafka的下载按钮:

CentOS7安装CDH 第九章:CDH中安装Kafka

5、依次执行Kafka的分配和激活:

CentOS7安装CDH 第九章:CDH中安装Kafka

CentOS7安装CDH 第九章:CDH中安装Kafka

4. 将Kafka服务添加到CDH中

1、在CDH的主界面点击添加服务按钮,并选择Kafka服务:

CentOS7安装CDH 第九章:CDH中安装Kafka

CentOS7安装CDH 第九章:CDH中安装Kafka

2、给Kafka分配节点(Kafka后面2个服务一般情况下不选):

CentOS7安装CDH 第九章:CDH中安装Kafka

CentOS7安装CDH 第九章:CDH中安装Kafka

3、Kafka的配置文件进行配置:

a)  配置Kafka的文件存放目录,因为Kafka是依赖Zookeeper的,所以Kafka的文件也是存放在Zookeeper的目录中,如果要卸载Kafka时,需要将这些Kafka的文件也删除,所以可以把Kafka的文件存放在一个目录中:

Kafka的文件存放目录:

CentOS7安装CDH 第九章:CDH中安装Kafka

进入Zookeeper的文件管理界面(命令行):

CentOS7安装CDH 第九章:CDH中安装Kafka

CentOS7安装CDH 第九章:CDH中安装Kafka

b) 因为Kafka是一个消息中间键,有将生产者生产的信息进行缓存的操作,所以在配置Kafka的数据存储目录时需要注意,将数据存放到一个比较大的磁盘中,该数据存放的目录如下配置所示:

CentOS7安装CDH 第九章:CDH中安装Kafka

c) 在卸载重装Kafka时,需要将Zookeeper目录下的Kafka文件,以及Kafka数据存放的目录都清空,请注意是每个节点都要清空,否则不能重装。

4、启动Kafka服务,会发现Kafka服务不能成功启动,报错如下:

CentOS7安装CDH 第九章:CDH中安装Kafka

CentOS7安装CDH 第九章:CDH中安装Kafka

此时为主机的内存不足,返回Kafka配置文件界面,修改memory中的Java Heap Size of Broker值为512M(如果机器内存充足,可以再大一些),如下:

CentOS7安装CDH 第九章:CDH中安装Kafka

修改之后去CDH的主界面重启Kafka,启动成功,如下所示:

CentOS7安装CDH 第九章:CDH中安装Kafka