kafka主题，分区，副本，节点几个概念理解

时间：2024-06-02 08:46:52

kafka相关概念

一、相关概念

  • 主题：类似于数据库中的表，用于存放生产者的数据
  • 分区：类似于数据库的中分表，将一个主题分成多个分区（一个大表分成多个分表）
  • 节点：kafka数量，或者理解为kafka集群服务器节点数量
  • 副本：相当于对分区的一个备份，这个值小于等于节点数量
  • 消费者组：消费同一类主题的多个消费者

kafka集群中：
如果所有主题配置的是1个副本。当一个节点挂了之后，其他节点无法正常消费。
如果只有doorinout主题副本是二个，当一个节点挂了后，其他节点无法正常消费。
如果__consumer_offsets主题副本是2个，doorinout主题副本是二个，当一个节点挂了后，其他节点除doorinout主题外，其他主题无法消费。


 


Broker123 为三个不同的节点
topic为主题1，分成了3个分区，3个副本。
即

./bin/kafka-topics.sh --describe --zookeeper 172.16.10.201:2181 --topic myTopic

Topic:myTopic PartitionCount:3 ReplicationFactor:3 Configs:

Topic: myTopic Partition: 0 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1

Topic: myTopic Partition: 1 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2

Topic: myTopic Partition: 2 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3

myTopic中，PartitionCount:3 （分区为3）ReplicationFactor:3 （副本为3）
leader为分区的leader所在的节点。分区0分散在三个副本上，三个副本分散在三个节点上。其他主题分区的副本也都散落在不同的 Broker 上，从而实现数据冗余。

  • AR：Kafka 分区中的所有副本统称为 AR（Assigned Repllicas）
  • ISR：表示和 Leader 保持同步的 Follower 集合。 如果 Follower 长时间未向 Leader 发送通信请求或同步数据，则该 Follower 将被踢出 ISR。 该时间阈值由 replica.lag.time.max.ms参数设定，默认 30s。 Leader 发生故障之后，就会从 ISR 中选举新的 Leader。
  • OSR：表示 Follower 与 Leader 副本同步时，延迟过多的副本

AR = ISR + OSR

相关文章