测试运行环境
Win10
kafka_2.11-1.0.0
zookeeper-3.4.10
1.安装Zookeeper
Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper
1.下载安装文件: http://mirror.bit.edu.cn/apache/zookeeper/
2.解压文件,打开zookeeper下的conf,把zoo_sample.cfg重命名成zoo.cfg
3.修改dataDir和dataLogDir保存路径
dataDir=D:\\data\\zookeeper
dataLogDir=D:\\data\\zookeeper
4.给zookeeper添加系统环境变量,在CMD中运行zookeeper服务zkserver
2.安装kafka
1.下载安装文件: http://kafka.apache.org/downloads.html
2.解压后,修改server.properties
log.dirs=D:\data\logs\kafka
如果之后运行会报错找不到java类,可能是kafka版本问题,则修改F:\kafka\kafka_2.11-1.0.0\bin\windows下的kafka-run-class.bat,在
set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*
这里给%CLASSPATH%加上双引号。
3.打开CMD进入kafka主目录文件夹F:\kafka\kafka_2.11-1.0.0\,启动kafka:
.\bin\windows\kafka-server-start.bat .\config\server.properties
4.进入F:\kafka\kafka_2.11-1.0.0\bin\windows里面创建topic:
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
5.打开producer:
kafka-console-producer.bat --broker-list localhost:9092 --topic test
6.打开consumer:
kafka-console-consumer.bat --zookeeper localhost:2181 --topic test
然后在producer里面输入字符则可以在consumer里接收到
遇到的问题
1.创建topic失败
解决:多创建两次试试,有的情况是机器反应慢
2.出现信息
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
网上说是版本问题,可以不用管,现在还不清楚,但是程序可以正常运行
3.用过kafka_2.11-1.0.0再使用kafka_2.10-0.8.2.1,发现启动不了服务,报错JAVA IO找不到系统路径,目前尚未解决,还望有能者指教!!