Kafka笔记5(内部工作原理)

时间:2021-09-02 08:18:21

集群成员关系:

  Kafka使用zookeeper维护集群成员信息,每个broker拥有唯一标识符,这个标识符可以在配置文件里指定也可以自动生成,会注册到Zookeeper的/brokers/ids路径下

控制器:

  本质就是一个broker,但是还负责分区首领选举

  Kafka使用zookeeper的临时节点来选举控制器,并在节点加入集群或退出集群时通知控制器,控制器负责在节点加入或离开集群时进行分区首领的选举。控制器使用epoch来避免脑裂

复制:

  复制功能时Kafka架构核心

  Kafka使用主题来组织数据,每个主题分为若干分区,每个分区有多个副本,保存在broker上,每个broker可以保存成千上百属于不同主题和分区的副本

  副本有以下2个类型:

    首领副本: 每个分区都有一个首领副本,所有的生产者请求和消费者请求都会经过这个副本

    跟随者副本:首领以外的副本都是跟随者副本,跟随者副本唯一任务是从首领那里复制消息,保持与首领一致的状态

        只有持续请求得到消息的副本被称为同步的副本,首领失效时才有机会成为首领

           除了当前首领之外,每个分区还有一个首选首领-------创建主题时选定的首领就是分区的首选首领

        auto.leader.rebalance.enable=true   会检查首选首领是不是当前首领,如果不是,并且该副本是同步的,就会触发首领选举,让首选首领成为首领

        分区的副本清单里第一个副本一般就是首选首领

处理请求:

  broker大部分工作就是处理客户端/分区副本/控制器发送给分区首领的请求。Kafka提供了一个基于TCP的二进制协议,指定请求消息的格式以及broker如何对请求做出响应

  客户端发起连接并发送请求,broker处理请求并做出响应,broker按照请求到达顺序处理他们----这种顺序保证让Kafka具有消息队列的特性,同时保证保存的消息也是有序的

  broker会在监听的每一个端口上运行一个Acceptor线程,这个线程会创建一个连接,并交给Processor线程处理,processor线程也称为网络线程,负责从客户端获取请求消息,放进请求队列,然后从响应队列获取响应消息,发送给客户端

  Kafka笔记5(内部工作原理)

  Kafka笔记5(内部工作原理)

Kafka笔记5(内部工作原理)

索引:

  索引把偏移量映射到片段文件和偏移量在文件里的位置

  索引若出现损坏,Kafka会自动重新生成索引

每个日志片段可以分为2个部分:

  干净的部分    未清理过,每个键只有一个对应的值

  污浊的部分   这些消息是上一次清理之后写入的

Kafka笔记5(内部工作原理)

  log.clear.enabled=true  kafka启用清理功能