1.首先需要先安装zookeeper
在windows下安装单点测试
a.下载zookeeper-3.4.9.tar.gz,解压在conf\下把zoo_sample.cfg 复制为zoo.cfg ;在bin目录下运行zkServer.cmd。
b.在系统环境变量中创建ZOOKEEPER_HOME值为zookeeper的Home目录;在PATH中添加zookeeper的bin目录.
2.安装kafka_2.11-0.10.2.1
a.下载kafka_2.11-0.10.2.1.tgz解压
b.在bin里面外面可以看到有Windows下面运行的工具。在conf下修改server.properties文件中log.dirs指定log目录,自己的机器上只在kafka的home目录建立文件夹.
c.在kafka_2.11-0.10.2.1的home目录下启动kafka :在kafka的home目录下使用命令:
.\bin\windows\kafka-server-start.bat .\config\server.properties 并等待启动完成.
e.等待上一步启动成功之后,到bin\windows目录下,这里面有在Windows环境下运行的命令。这里我们需要创建一个topic :kafka-topics.bat --create --topic newtest --partitions 1 --replication-factor 1 --zookeeper localhost:2181
--create:表示创建
--topic:指定主题的名字
--partitions:指定这个主题的分区数
--replication-factor:副本的份数
创建topic成功提示:
这里应该小于我们的 brokers数量不然会有副本数量大于 brokers数量的错误如:
f. 之后便是创建一个producer来发送一个指定topic的消息了:
kafka-console-producer.bat --broker-list localhost:9092 --topic newtest
如图:producer正在等待我们输入发送的消息
--broker-list localhost:9092:链接kafka,
--topic newtest:准备发送topic为newtest的消息
(这个窗口是producer,不要关闭;等待输入要发送的消息)
g. 有了producer(生产者)发送消息之后我们需要接收使用这个消息,这个就是consumer(消费者):
kafka-console-consumer.bat --zookeeper localhost:2181 --topic newtest
--zookeeper localhost:2181:链接zookeeper
--topic newtest:接收topic为newtest的消息
(这个窗口是consumer,不要关闭;有对应的topic消息时会输出)
h.我们在producer窗口输入一些消息,观察consumer窗口是否会输出producer中的字符
在Windows上我们算是简单把kafka的环境搭起来了。下面是在eclipse中创建(Producer)和接收(Consumer)。
附加:
查看当前有的group: bin\windows目录:kafka-consumer-groups.bat --list --bootstrap-server localhost:9092
查看指定的group:kafka-consumer-groups.bat --describe --bootstrap-server localhost:9092 --group groupName
查看当前有的topic:kafka-topics.bat --list --zookeeper localhost:2181
查看指定的topic:kafka-topics.bat --describe --zookeeper localhost:2181 --topic topicName