机器组
zk1-kafka1:10.0.7.53
zk2-kafka2:10.0.7.54
zk3-kafka3:10.0.7.55
官网
https://zookeeper.apache.org
https://kafka.apahce.org
准备工作
三台主机安装依赖
https://zookeeper.apache.org/doc/r3.7.1/zookeeperAdmin.html#sc_systemReq
mkdir /apps;cd /apps
yum -y install java-1.8.0-openjdk
chmod +x /etc/rc.local
部署zookeeper
wget -c --no-check-certificate https://dlcdn.apache.org/zookeeper/zookeeper-3.8.1/apache-zookeeper-3.8.1-bin.tar.gz
tar xf apache-zookeeper-3.8.1-bin.tar.gz
修改zookeeper配置文件
三台主机同样操作
mkdir /data/zookeeper
ln -sv /apps/apache-zookeeper-3.8.1-bin /apps/zookeeper
cd /apps/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 修改保存数据的路径
dataDir=/data/zookeeper
# 在配置文件最后面添加此三行
server.1=10.0.7.53:2888:3888
server.2=10.0.7.54:2888:3888
server.3=10.0.7.55:2888:3888
# server代表不同主机
# 1 2 3 代表不同的ID
# =号右边第一列代表主机内网IP
# 2888代表数据同步端口
# 3888代表集群master选举端口
主机1操作
echo 1 > /data/zookeeper/myid
主机2操作
echo 2 > /data/zookeeper/myid
主机3操作
echo 3 > /data/zookeeper/myid
/apps/zookeeper/bin/zkServer.sh start
/apps/zookeeper/bin/zkServer.sh status
# leader会启动2888端口进行数据同步
# follower只会启动2181客户端口、master选举端口3888
vim /etc/rc.local
/apps/zookeeper/bin/zkServer.sh start
部署kakfa
wget -c --no-check-certificate https://dlcdn.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz
tar xf kafka_2.13-3.4.0.tgz
ln -sv /apps/kafka_2.13-3.4.0 /apps/kafka
vim /apps/kafka/config/server.properties
# 节点id不能一样,id可以随意配<每台机不一样的配置>
broker.id=1
# 监听的本机IP,写本机IP<每台机不一样的配置>
listeners=PLAINTEXT://10.0.7.53:9092
# 数据目录
log.dirs=/data/kafka-logs
# 保存数据72小时
log.retention.hours=72
# 连接zookeeper的IP地址
zookeeper.connect=10.0.7.53:2181,10.0.7.53:2181,10.0.7.53:2181
# 启动kafka,监听9092端口
/apps/kafka/bin/kafka-server-start.sh -daemon /apps/kafka/config/server.properties
vim /etc/rc.local
/apps/kafka/bin/kafka-server-start.sh -daemon /apps/kafka/config/server.properties
kafka工具
下载地址:https://kafkatool.com/download.html
用于验证kafka
连接成功后的显示