windows下IntelliJ IDEA搭建kafka源码环境

时间:2022-12-13 09:30:51

于kafka核心原理的资料,网上有很多,但是如果不自己研究其源码,永远是知其然而不知所以然。下面就来演示如何在windows环境下来编译kafka源码,并通过IntelliJ IDEA开发工具搭建kafka的源码环境,以方便在本地通过debug调试来研究kafka的内部实现机制。

具体步骤:

(1)安装jdk,版本为1.8.0_131,配置JAVA_HOME:

windows下IntelliJ IDEA搭建kafka源码环境

 

(2)安装scala,版本为 2.10.6,配置SCALA_HOME:

windows下IntelliJ IDEA搭建kafka源码环境

 

(3)安装Gradle,版本为 3.1,配置GRADLE_HOME:

windows下IntelliJ IDEA搭建kafka源码环境

 

(4)安装Maven,版本为 3.2.1,配置MAVEN_HOME:

windows下IntelliJ IDEA搭建kafka源码环境

 

(5)安装zookeeper,版本为3.4.6(这里为了方便,只在windows下部署了一个单节点的zookeeper,当然你也可以部署一个zookeeper集群)

到zookeeper官网下载压缩包,解压到windows的任意磁盘目录下,将conf目录下的zoo_sample.cfg复制一份,将其名称修改为zoo.cfg,然后打开,指定dataDir=D:\\java\\zookeeper-data\\3.4.6-data,比如我的配置如下:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
#
synchronization phase can take
initLimit=10
# The number of ticks that can pass between
#
sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
#
do not use /tmp for storage, /tmp here is just
#
example sakes.
dataDir=D:\\java\\zookeeper-data\\3.4.6-data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
#
increase this if you need to handle more clients
#
maxClientCnxns=60
#
#
Be sure to read the maintenance section of the
#
administrator guide before turning on autopurge.
#
#
http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
#
The number of snapshots to retain in dataDir
#
autopurge.snapRetainCount=3
#
Purge task interval in hours
#
Set to "0" to disable auto purge feature
#
autopurge.purgeInterval=1

然后双击bin目录下的zkServer.cmd即可启动zookeeper:

windows下IntelliJ IDEA搭建kafka源码环境

zookeeper启动后如下图,默认占用的端口号为2181:

windows下IntelliJ IDEA搭建kafka源码环境

 

(6)下载kafka源码。从kafka官网下载源码包kafka-0.10.0.1-src.tgz,解压,比如我解压到了D:\kafka-0.10.0.1-src目录下,在解压后的目录下面通过命令行窗口执行gradle idea命令,然后经过漫长的等待,控制台会出现构建成功的提示,说明kafka源码编译完成;

 

 (7)开发工具使用的是IntellJ IDEA 14.1.7(也可以使用其他更高的版本):

windows下IntelliJ IDEA搭建kafka源码环境

(8)在IntelliJ IDEA中安装scala插件,这里我安装的插件版本为 1.5.4:

windows下IntelliJ IDEA搭建kafka源码环境

 

(9)将编译好的kafka源码导入到idea开发工具中,导入后的目录情况:

windows下IntelliJ IDEA搭建kafka源码环境

 

(10)将config目录下的log4j.properties文件拷贝到core\src\main\scala\目录下,方便查看日志:

windows下IntelliJ IDEA搭建kafka源码环境

(11) 修改server.properties文件中的log.dirs=D:\\tmp\\kafka-logs(修改为你自己windows磁盘目录)

(12)启动kafka服务器,即运行core\src\main\scala\kafka\Kafka.scala中的main方法,运行前指定启动参数:

windows下IntelliJ IDEA搭建kafka源码环境

(13)启动生产者,启动参数配置:

windows下IntelliJ IDEA搭建kafka源码环境

 

(14)启动消费者,启动参数配置:

windows下IntelliJ IDEA搭建kafka源码环境

 

 (15)在生产者的控制台上输入消息"hello kafka"并回车:

windows下IntelliJ IDEA搭建kafka源码环境

 

观察消费者的控制台上,如果有消息被消费,说明源码环境搭建成功:

windows下IntelliJ IDEA搭建kafka源码环境

 

致此,kafka在IntelliJ IDEA中的源码环境搭建成功。