【Kafka源码】Kafka代码模块

时间:2021-12-05 07:21:18

Kafka源码依赖于Scala环境,首先需要安装scala,这块请自行百度进行安装。

传送门

当然,我们要分析源码,需要下载源码,请自行从github上面下载。

说明:本文使用的kafka版本为0.10.0.1,这是目前公司使用的版本。

下面说明下kafka源码的工程结构:
【Kafka源码】Kafka代码模块

下面主要对core目录模块进行说明,这块是kafka的核心。

  • admin:管理员模块,操作和管理topic,paritions相关,包含create,delete topic,扩展patitions
  • api:这块主要负责数据的组装,客户端和服务端数据交互的组装
  • client:这个模块比较简单,只有一个类,主要是获取一些元数据,包括topic、broker等
  • cluster:该模块定义了几个在kafka中比较重要的类:Broker,BrokerEndPoint,Cluster,EndPoint,Partition,Replica等,后续我们会对他们之间的关系进行分析
  • common:通用类,定义了一些异常类等等
  • consumer:comsumer处理模块,负责与消费者相关的操作
  • controller:负责*控制器选举,partition的leader选举,副本分配,副本重新分配,partition和replica扩容
  • coordinator:协调器,rebalance的一些协调器,比如延迟心跳等
  • javaapi:kafka提供出来的java生产消费的api
  • log:文件存储模块,负责读写所有kafka的topic消息数据,也就是消息持久化模块
  • message:封装多个消息组成一个“消息集”或压缩消息集
  • metrics:内部状态监控模块
  • network:kafka的网络处理模块,负责接受和处理客户端连接
  • producer:生产者模块,包括同步和异步发送消息
  • security.auth:安全认证模块
  • serializer:序列化和反序列化工具
  • server:kafka服务启动相关内容
  • tools:工具模块,内容挺多,主要是与kafka相关的工具
  • utils:通用工具模块,包括zk等等
  • Kafka:程序入口