【拆分版】Docker-compose构建Zookeeper集群管理Kafka集群

时间：2023-03-08 16:10:47

写在前边

在搭建Logstash多节点之前，想到就算先搭好Logstash启动会因为日志无法连接到Kafka Brokers而无限重试，所以这里先构建下Zookeeper集群管理的Kafka集群。

众所周知，Zookeeper是一个高效的分布式协调中间件，可以提供配置信息管理、命名、分布式同步（分布式锁）、集群管理、数据库切换等服务。这里主要用它的集群管理功能，它可以确保在网络状态不一致，选出一致的Master节点。它是Apache下的一个Java项目，隶属于Hadroop系统，正如其名"动物管理员"，作为管理员的角色存在。

有兴趣了解zookeeper的原理，可以学习Paxos协议与Zab协议。

ps: Hadroop系统下基本上所有的软件都是动物命名的

在这里，我们将使用Zookeeper来管理Kafka集群，Kafka是一种消息队列（Message Queue）中间件，具有高并发、高吞吐量、容错性强、可扩展等优点。在ELK日志系统中使用Kafka作为数据的缓冲层，提高了系统的性能与稳定性。

正好今天通过翻看两者官方的文档与其Docker镜像的文档，终于搭建成功，遂记之分享诸君。鉴于水平有限，如有写得不对的地方，欢迎大家指正。

本文搭建架构图

【拆分版】Docker-compose构建Zookeeper集群管理Kafka集群

说明：

Zookeeper搭建成集群后，提供命名服务与集群协调服务，Kafka的节点Broker通过domain与ip进行注册到Zookeeper集群中，通过Zookeeper的协调能力，选出唯一的Leader节点，集群服务启动并对外提供服务。

环境准备

  • GNU/Debian Stretch 9.9 linux-4.19
  • Docker 18.09.6
  • Docker-Compose 1.17.1

目录结构

├── docker-kafka-cluster

│   ├── docker-kafka-cluster-down.sh

│   ├── docker-kafka-cluster-up.sh

│   ├── kafka-01

│   │   ├── docker-compose.yml

│   │   └── .env

│   ├── kafka-02

│   │   ├── docker-compose.yml

│   │   └── .env

│   ├── kafka-03

│   │   ├── docker-compose.yml

│   │   └── .env

│   └── kafka-manager

│       ├── docker-compose.yml

│       └── .env

└── docker-zookeeper-cluster

    ├── docker-zk-cluster-down.sh

    ├── docker-zk-cluster-up.sh

    ├── zk-01

    │   ├── docker-compose.yml

    │   └── .env

    ├── zk-02

    │   ├── docker-compose.yml

    │   └── .env

    └── zk-03

        ├── docker-compose.yml

        └── .env

docker-zookeeper-cluster源码参见我的Git仓库 https://github.com/hellxz/docker-zookeeper-cluster.git

docker-kafka-cluster源码参见我的Git仓库 https://github.com/hellxz/docker-kafka-cluster.git

各节点容器说明列表

Zookeeper集群

节点目录名 容器名 client port follower port election port
zk-01 zk-01 2181 2888 3888
zk-02 zk-02 2182 2889 3889
zk-03 zk-03 2183 2890 3890

Kafka集群

节点目录名 容器名 占用端口
kafka-01 kafka-1 9092
kafka-02 kafka-2 9093
kafka-03 kafka-3 9094
kafka-manager kafka-manager 19000

各文件内容说明

Zookeeper部分

docker-zookeeper-cluster/zk-01目录下的.env

.env配置文件为docker-compose.yml提供了多个zookeeper的发现服务节点列表

配置格式为 server.x=x节点主机ip:随从端口:选举端口;客户端口 其中x为ZOO.MY.ID的数值，客户端口前是;

# set args to docker-compose.yml by default

# set zookeeper servers, pattern is `server.x=ip:follower-port:election-port;client:port`,

# such as "server.1=192.168.1.1:2888:3888;2181 server.2=192.168.1.2:2888:3888;2181",

# `x` is the `ZOO.MY.ID` in docker-compose.yml, multiple server separator by white space.

# now you can overide the ip for server.1 server.2 server.3, here demonstrate in one machine so ip same.

ZOO_SERVERS=server.1=10.2.114.110:2888:3888;2181 server.2=10.2.114.111:2889:3889;2182 server.3=10.2.114.112:2890:3890;2183

docker-zookeeper-cluster/zk-01目录下的docker-compose.yml

version: '3'

services:

    zk-01:

        image: zookeeper:3.5.5

        restart: always

        container_name: zk-01

        ports:

            - 2181:2181 # client port

            - 2888:2888 # follower port

            - 3888:3888 # election port

        environment:

            ZOO_MY_ID: 1 # this zookeeper's id, and others zookeeper node distinguishing

            ZOO_SERVERS: ${ZOO_SERVERS} # zookeeper services list

        network_mode: "host"

Kafka部分

以kafka-01目录下的.env 为例

.env配置文件为docker-compose.yml提供了多个zookeeper的ip:client-port列表

# default env for kafka docker-compose.yml

# set zookeeper cluster, pattern is "zk1-host:port,zk2-host:port,zk3-host:port", use a comma as multiple servers separator.

ZOO_SERVERS=10.2.114.110:2181,10.2.114.111:2182,10.2.114.112:2183

以kafka-01目录下的docker-compose.yml，为docker-compse的配置文件

version: "3"

services:

    kafka-1:

        image: wurstmeister/kafka:2.12-2.1.1

        restart: always

        container_name: kafka-1

        environment:

            - KAFKA_BROKER_ID=1 #kafka的broker.id，区分不同broker

            - KAFKA_LISTENERS=PLAINTEXT://kafka1:9092 #绑定监听9092端口

            - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka1:9092 #绑定发布订阅的端口

            - KAFKA_ZOOKEEPER_CONNECT=${ZOO_SERVERS} #连接zookeeper的服务地址

            - KAFKA_MESSAGE_MAX_BYTES=2000000 #单条消息最大字节数

            #- KAFKA_CREATE_TOPICS=Topic1:1:3,Topic2:1:1:compact #创建broker时创建的topic:partition-num:replica-num[:clean.policy]

        network_mode: "host"

KAFKA_CREATE_TOPICS使用官方说明：Topic 1 will have 1 partition and 3 replicas, Topic 2 will have 1 partition, 1 replica and a cleanup.policy set to compact. 文档地址：https://hub.docker.com/r/wurstmeister/kafka

Zookeeper集群使用

  1. 请确保所布署的 1~3 台服务器网络可以ping通
  2. 确保第一台主机的2181\2888\3888端口未占用，第二台主机的2182\2889\3889端口未占用，第三台主机的2183\2890\3890端口未占用
  3. 复制zk-01到第一台主机、复制zk-02到第二台主机、复制zk-03到第三台主机
  4. 修改zk-01\zk-02\zk-03目录下的.env中的ZOO_SERVERS的值，按上述配置要求修改。修改完后的配置应该是集群内通用的，可以scp复制过去。
  5. 单台主机请为docker-zk-cluster-up.sh与docker-zk-cluster-down.sh授执行权，使用它们进行up和down操作；多台主机请手动分别进入zk-0x目录，执行docker-compose up -d以启动，执行docker-compose down以关闭。

Kafka集群使用

  1. 使用前确保各主机可以互相ping通

  2. 确保zookeeper的服务列表与各对应的zookeeper的ip与客户端口相同，如不同注意修改.env，集群中.env文件相同，可scp复制

  3. 确保zookeeper集群启动

  4. 复制kafka-01到第一台主机、复制kafka-02到第二台主机、复制kafka-03到第三台主机

  5. 确保这几台主机对应的占用端口号不被占用 kafka-01对应9092、 kafka-02对应9093、 kafka-03对应9094、kafka-manager对应19000

  6. 分别对每一台kafka-0x所在的主机修改/etc/hosts，例

    10.2.114.110	kafka1
    
10.2.114.111	kafka2
    
10.2.114.112	kafka3

    其中每个主机只需要设置自己的主机上的host，比如我复制了kafka-01我就写本机ip kafka1 ,依次类推.

  7. 单台主机部署kafka集群请为docker-kafka-cluster-up.sh与docker-kafka-cluster-down.sh授执行权，不要移动目录，通过这两个shell脚本来启动项目；多台主机请手动进入kafka-0x目录下，执行docker-compose up -d以后台启动，执行docker-compose down以移除容器

  8. 启动脚本中没有启动kafka-manager，有需要请自行启动。为了匹配kafka的版本，使用时设置2.1.1即可。

文中配置部分的ip因使用同一台主机做的测试，所以ip相同，为了防止误解，在文中已经修改了ip，具体详见：

本文系原创文章，谢绝转载

相关文章