linux安装zookeeper、kafka

时间:2024-03-20 13:42:31

 需要安装 jdk8 的环境

关闭防火墙: systemctl stop firewalld.service

==================================安装 zookeeper

 解压 zookeeper-3.4.14.tar.gz

linux安装zookeeper、kafka

将 zookeeper-3.4.14 重命名为 zookeeper

linux安装zookeeper、kafka

进入 zookeeper 的 conf 目录下

linux安装zookeeper、kafka

将 zoo_sample.cfg 重命名为 zoo.cfg

linux安装zookeeper、kafka

修改zoo.cfg文件,在最后面添加

server.0=192.168.144.169:2888:3888
server.1=192.168.144.170:2888:3888
server.2=192.168.144.171:2888:3888

ps : 注意修改集群的 IP 地址

然后修改 dataDir 的路径

然后保存退出

linux安装zookeeper、kafka

在 zookeeper 目录创建 data 文件夹 , 并进入 data 目录下

linux安装zookeeper、kafka

在 data 目录下创建  myid 文件, 内容为 0 

linux安装zookeeper、kafka

修改 /usr/kafka/zookeeper/conf  下的 zoo.cfg

linux安装zookeeper、kafka

保存 退出  

============================= 安装kafka

解压 kafka_2.13-2.4.0.tgz

linux安装zookeeper、kafka

重命名 kafka_2.13-2.4.0 为 kafaka 

linux安装zookeeper、kafka

进入 kafka 的 config 文件夹 

linux安装zookeeper、kafka

修改 server.properties中的 

listeners=PLAINTEXT://192.168.144.169:9092

zookeeper.connect=192.168.144.169:2181,192.168.144.170:2181,192.168.144.171:2181

linux安装zookeeper、kafka

linux安装zookeeper、kafka

克隆出两台服务器,修改 ip 地址 , 现在就是3 台服务器 , IP地址分别为:192.168.144.169、 192.168.144.170、192.168.144.171

分别启动这3台服务器

然后关闭3台服务器的防火墙 : systemctl stop firewalld.service

修改另外两台服务器 /usr/kafka/zookeeper/data 路径下的 myid 文件的值 

linux安装zookeeper、kafka

linux安装zookeeper、kafka

启动zookeeper,看到报错了,这是因为我搭了3台服务器集群,至少需要启动一半的服务器zookeeper,所以也就是最少要启动2台服务器的zookeeper

linux安装zookeeper、kafka

 

 我分别把另外两台服务器的zookeeper也启动起来,然后他们3台服务器之间会自动选举

出现下面这3张图的效果,就说明zookeeper的集群环境搭建好了

linux安装zookeeper、kafka

 

linux安装zookeeper、kafka

linux安装zookeeper、kafka

============================================kafka

进入kafka 的 config 文件夹里

linux安装zookeeper、kafka

 linux安装zookeeper、kafka

分别修改三个服务器里的 server.properties 文件

linux安装zookeeper、kafka

linux安装zookeeper、kafka

linux安装zookeeper、kafka

 三台服务器同时启动 kafka 

linux安装zookeeper、kafka

查看 kafka 是否启动了 : ps aux | grep 'kafka' 

出现下面图片就成功了

linux安装zookeeper、kafka

linux安装zookeeper、kafka

linux安装zookeeper、kafka

以上就是搭建集群kafka

===================================================以下是学习内容,kafka发送消息,消费消息

详细参照官网即可

http://kafka.apachecn.org/quickstart.html

linux安装zookeeper、kafka

 

linux安装zookeeper、kafka

 

linux安装zookeeper、kafka

 linux安装zookeeper、kafka

在 192.168.144.169 端发送一个消息,这个时候 192.168.144.170 端会接收这个消息

linux安装zookeeper、kafka

linux安装zookeeper、kafka

=============================kafka集群实现分区存放不同节点=========================

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

因为刚才在 192.168.144.169 创建了主题-- topic test,partitions 设置为 1 ,所以就只存在了192.168.144.169这个节点了

linux安装zookeeper、kafka

zookeeper 工具上只看到了一个节点

linux安装zookeeper、kafka

其他的节点上并没有 test 这个主题

linux安装zookeeper、kafka

 linux安装zookeeper、kafka

再次设置下主题--partitions 3 --topic zhangsan ,这样就可以看到分区存放到不同的节点了:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic zhangsan
 

linux安装zookeeper、kafka

linux安装zookeeper、kafka

linux安装zookeeper、kafka