apache kafka系列之broker内部架构

时间:2021-08-07 16:45:25

下面介绍kafka broker的主要子模块,帮助您更好地学习并理解kafka源代码和架构。

如下介绍几个子模块:

  • Kafka API layer
  • LogManager and Log
  • ReplicaManager
  • ZookeeperConsumerConnector
  • service Schedule
如下是系统几个模块如何组成到一起架构图: apache kafka系列之broker内部架构
启动过程
zkClient 初始化=>logManager  start()=> socketServer start()=>requestHandlerPool 初始化=>replicaManager start() => 
kafkaController start() =>topicConfigManager start() => kafkaHealthcheck start()
Broker的核心IO处理在requestHandlerPool  这里面

zkClient初始化
利用第三方的zkclient初始与zk之间的链接,zkclient负责与zk的connection,session的维护。

logManager 初始化
所有的读写请求都将实例化各自的log实例对象。同时,后台的log线程将负责维护partitions与log segment。

socketServer初始化
NIO socket server
*   1 Acceptor thread 负责接收请求,并转给Processor threads 进行处理
*   N Processor threads 负责每个socket请求的实际处理


•M Handler threads 负责事件机制催每个Processor 的请求与product请求的消息回复。

replicaManager初始化
•负责该broker的partition副本的管理工作

kafkaController初始化
负责该broker的Controller状态的管理工作

topicConfigManager初始化
负责该broker的topic的状态管理工作

kafkaHealthcheck初始化
负责该broker的状态在zk的维护工作
requestHandlerPool初始化
核心IO处理中心,通过事件驱动模式进行处理

维护2个队列,
一个是request队列
一个是response队列
通过,KafkaApis调用(关于请查看KafkaApis详解)handler的事件类型,进行相关的事件的处理。
请求的事件类型共有ProduceKey, FetchKey, OffsetsKey, MetadataKey, LeaderAndIsrKey, StopReplicaKey, 
UpdateMetadataKey, ControlledShutdownKey, OffsetCommitKey, OffsetFetchKey

请注明转载自:http://blog.csdn.net/lizhitao/article/details/38352947