kafka系列一、kafka安装及部署、集群搭建

时间：2023-03-09 04:32:49
kafka系列一、kafka安装及部署、集群搭建

一、环境准备

  • 操作系统：Cent OS 7

  • Kafka版本：kafka_2.10

  • Kafka官网下载：请点击

  • JDK版本：1.8.0_171

  • zookeeper-3.4.10

二、kafka安装配置

1、下载Kafka并解压

　　下载:

curl -L -O http://mirrors.cnnic.cn/apache/kafka/0.9.0.0/kafka_2.11-2.0.1.tgz

　　解压：

tar zxvf kafka_2.11-2.0.1.tgz

2、Kafka目录介绍

  • /bin 操作kafka的可执行脚本，还包含windows下脚本

  • /config 配置文件所在目录

  • /libs 依赖库目录

  • /logs 日志数据目录，目录kafka把server端日志分为5种类型，分为:server,request,state，log-cleaner，controller

3、配置

  • 配置zookeeper进入kafka安装工程根目录编辑config/server.properties

  • kafka最为重要三个配置依次为：broker.id、log.dir、zookeeper.connect，

  • 其他kafka server端config/server.properties参数说明和解释如下:

    server.properties配置属性说明

4、启动Kafka

  • 启动

进入kafka目录，敲入命令
 bin/kafka-server-start.sh config/server.properties &

  • 检测2181与9092端口

netstat -tunlp|egrep "(2181|9092)"

tcp               :::                     :::*                        LISTEN      /java

tcp               :::                     :::*                        LISTEN      /java
说明：

Kafka的进程ID为28094，占用端口为9092

QuorumPeerMain为对应的zookeeper实例，进程ID为19787，在2181端口监听

5、单机连通性测试

启动2个XSHELL客户端，一个用于生产者发送消息，一个用于消费者接受消息。

  • 运行producer，随机敲入几个字符，相当于把这个敲入的字符消息发送给队列。

bin/kafka-console-producer.sh --broker-list 192.168.1.105: --topic test

说明：早版本的Kafka，–broker-list 192.168.1.181:9092需改为–zookeeper 192.168.1.181:2181

  • 运行consumer，可以看到刚才发送的消息列表。

bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.105:  --topic test --from-beginning

说明：早版本的Kafka，--bootstrap-server 192.168.1.181:9092需改为–zookeeper 192.168.1.181:2181

注意：

producer，指定的Socket(192.168.1.181+9092),说明生产者的消息要发往kafka，也即是broker

consumer, 指定的Socket(192.168.1.181+2181),说明消费者的消息来自zookeeper（协调转发）

上面的只是一个单个的broker，下面我们来实验一个多broker的集群。

三、集群搭建

一、copy /kafka_2.11-2.0.1/config/server.properties文件修改以下三个地方（zk地址相同）

broker.id=

listeners=PLAINTEXT://192.168.1.105:9092

zookeeper.connect=192.168.1.105:2181

二、启动zk、启动三个kafka

bin/kafka-server-start.sh ../config/server.properties &

三、集群测试

1、在broke1创建topic

bin/kafka-topics.sh --create --zookeeper 192.168.1.105: --replication-factor  --partitions  --topic test4

2、broke2和broke3主机上利用命令行工具创建一个consumer程序

bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.106:9092  --topic test4 --from-beginning
bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.107:9092  --topic test4 --from-beginning

3、在broke1主机上利用命令行工具创建一个producer程序

bin/kafka-console-producer.sh --broker-list localhost: --topic test4

4、broke1输入11、broke2和broke3同时收到11

kafka系列一、kafka安装及部署、集群搭建

四、Kafka常用命令

（1）启动kafka

nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &

（2）查看topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

（3）控制台消费

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic middleware --from-beginning

（4）创建生产者

bin/kafka-console-producer.sh --broker-list localhost: --topic test

（5）删除topic

  • 删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录
  • 如果配置了delete.topic.enable=true直接通过命令删除，如果命令删除不掉，直接通过zookeeper-client 删除掉"/brokers/topics/"目录下相关topic节点。

注意: 如果你要删除一个topic并且重建，那么必须重新启动kafka，否则新建的topic在zookeeper的/brokers/topics/test-topic/目录下没有partitions这个目录，也就是没有分区信息。

相关文章