部署zookeeper及kafka集群

时间:2023-02-23 20:02:03

机器组

zk1-kafka1:10.0.7.53

zk2-kafka2:10.0.7.54

zk3-kafka3:10.0.7.55

官网

​https://zookeeper.apache.org​

​https://kafka.apahce.org​


准备工作

三台主机安装依赖

​https://zookeeper.apache.org/doc/r3.7.1/zookeeperAdmin.html#sc_systemReq​

mkdir /apps;cd /apps
yum -y install java-1.8.0-openjdk
chmod +x /etc/rc.local

部署zookeeper

wget -c --no-check-certificate https://dlcdn.apache.org/zookeeper/zookeeper-3.8.1/apache-zookeeper-3.8.1-bin.tar.gz
tar xf apache-zookeeper-3.8.1-bin.tar.gz

修改zookeeper配置文件

三台主机同样操作

mkdir /data/zookeeper

ln -sv /apps/apache-zookeeper-3.8.1-bin /apps/zookeeper

cd /apps/zookeeper/conf

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

# 修改保存数据的路径
dataDir=/data/zookeeper

# 在配置文件最后面添加此三行
server.1=10.0.7.53:2888:3888
server.2=10.0.7.54:2888:3888
server.3=10.0.7.55:2888:3888

# server代表不同主机
# 1 2 3 代表不同的ID
# =号右边第一列代表主机内网IP
# 2888代表数据同步端口
# 3888代表集群master选举端口

主机1操作
echo 1 > /data/zookeeper/myid

主机2操作
echo 2 > /data/zookeeper/myid

主机3操作
echo 3 > /data/zookeeper/myid

/apps/zookeeper/bin/zkServer.sh start
/apps/zookeeper/bin/zkServer.sh status

# leader会启动2888端口进行数据同步
# follower只会启动2181客户端口、master选举端口3888

vim /etc/rc.local
/apps/zookeeper/bin/zkServer.sh start

部署kakfa

wget -c --no-check-certificate https://dlcdn.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz

tar xf kafka_2.13-3.4.0.tgz

ln -sv /apps/kafka_2.13-3.4.0 /apps/kafka

vim /apps/kafka/config/server.properties

# 节点id不能一样,id可以随意配<每台机不一样的配置>
broker.id=1

# 监听的本机IP,写本机IP<每台机不一样的配置>
listeners=PLAINTEXT://10.0.7.53:9092

# 数据目录
log.dirs=/data/kafka-logs

# 保存数据72小时
log.retention.hours=72

# 连接zookeeper的IP地址
zookeeper.connect=10.0.7.53:2181,10.0.7.53:2181,10.0.7.53:2181

# 启动kafka,监听9092端口
/apps/kafka/bin/kafka-server-start.sh -daemon /apps/kafka/config/server.properties

vim /etc/rc.local
/apps/kafka/bin/kafka-server-start.sh -daemon /apps/kafka/config/server.properties

kafka工具

下载地址:​​https://kafkatool.com/download.html​

用于验证kafka

连接成功后的显示

部署zookeeper及kafka集群

部署zookeeper及kafka集群

部署zookeeper及kafka集群