apache kafka 作为一款高吞吐量,分布式的消息中间件,在越来越多的互联网公司流行起来了,为了更好地熟悉和掌握kafka的运行原理和细节,
可以搭建一套本地可运行的源码环境来熟悉kafka。
1. 源码
在kafka官方网址, 下载 kafka-0.8.1.1-src.tgz 源码,解压: tar -xzvf kafka-0.8.1.1-src.tgz
2. 依赖环境
kafka源码使用scala开发,运行环境需要java和scala
在
http://www.scala-lang.org/download/all.html 页面中选择scala 2.9或者2.10版本,
windows下提供msi安装包,下载直接安装即可。
linux下提供tar包,下载解压后配置
SCALA_HOME=/usr/local/scala/scala-2.10.6
PATH=$PATH:$SCALA_HOME/bin
export SCALA_HOME
export PATH
kafka项目使用gradle构建,需要在本地配置安装gradle。 gradle下载地址:
http://gradle.org/gradle-download/ ,
下载页面右下侧可以选择版本,这里选择 1.12版本。
下载后解压,配置系统环境变量:
windows:
GRADLE_HOME=D:\Program Files\apache\gradle-1.12
在path加入 %GRADLE_HOME%\bin
linux:
GRADLE_HOME=/usr/local/gradle/gradle-1.12
PATH=$PATH:$GRADLE_HOME/bin
export GRADLE_HOME
export PATH
验证是否配置安装成功:
命令行键入: gradle -v
出现gradle版本等信息,表示已配置成功。
3. 开发工具
开发工具使用 ScalaIDE, ScalaIDE是基于eclipse的插件,对于经常使用eclipse的开发人员来说使用起来比较顺手。下载地址:
http://scala-ide.org/, 当前最新版本:4.2.0
下载好的ScalaIDE内部已经集成好了scala的两个版本jar包, 分别是 2.10.5和2.11.7,编译代码时,直接选择使用集成的就可以了。
4. 源代码导入
将 kafka-0.8.1.1-src 整个源码放在适当的目录, 切换目录进入kafka-0.8.1.1-src中, 在命令行中执行:gradle eclipse ,
gradle 会执行项目构建, 主要下载拉取源码的依赖jar包,生成项目属性文件 .project和 .classpath文件,下载依赖会耗费一段时间,
当看到 BUILD SUCCESSFUL, 构建过程完成
启动ScalaIDE, File --> Import , 弹出对话框, 选择 gradle项目类型。
继续选择下一步, 在项目根目录选择 kafka-0.8.1.1-src 源码目录, 继续下一步
上面对话框主要用来设置gradle的版本, 在 Gradle distribution中选择第二项, 位置指向本地已配置的目录。
这一步中,也可以选择 Gradle wrapper 选项, 该选项下会自动下载和项目匹配的gradle版本,有点费时。
导入完成后, 项目视图如下, 有报错的地方, 再来做一些调整。
core项目是kafka的源代码项目, 在core项目的 Java Build Path 中,指定scala的版本为2.10.5
重新build项目后, core源码编译正常
5. 配置运行
在
kafka-0.8.1.1的根项目的config目录下,打开 server.properties文件
修改 zookeeper.connect 属性值,将其改为实际的zookeeper地址。
修改host.name 属性值,将其改为运行机器的IP地址或hostname。
配置 src/test/resources 中的
日志文件log4j.properties,
修改 log4j.rootLogger=debug, stdout,
注释掉
log4j.logger.kafka=ERROR
在core项目中的 Run Configrations中配置运行属性
kafka运行依赖zookeeper,启动zookeeper。 就绪后, 运行kafka-core
kafka已成功运行起来了,可以调试和分析代码了