Kafka知识点总结

Kafka主要组件说明

1、kafka当中的producer说明

        producer主要是用于生产消息，是kafka当中的消息生产者，生产的消息通过topic进行归类，保存到kafka的broker里面去。

2、kafka当中的topic说明

• kafka将消息以topic为单位进行归类
• topic特指kafka处理的消息源（feeds of messages）的不同分类。
• topic是一种分类或者发布的一些列记录的名义上的名字。kafka主题始终是支持多用户订阅的；也就是说，一 个主题可以有零个，一个或者多个消费者订阅写入的数据。
• 在kafka集群中，可以有无数的主题。
• 生产者和消费者消费数据一般以主题为单位。更细粒度可以到分区级别。

3、kafka当中的partition说明

        kafka当中，topic是消息的归类，一个topic可以有多个分区，每个分区保存部分topic的数据，所有的partition当中的数据全部合并起来，就是一个topic当中的所有的数据。

一个broker服务下，是否可以创建多个分区？
可以的，broker数与分区数没有关系； 在kafka中，每一个分区会有一个编号：编号从0开始

        每一个分区的数据是有序的

        说明-数据是有序 如何保证一个主题下的数据是有序的？（生产是什么样的顺序，那么消费的时候也是什么样的顺序）

        topic的Partition数量在创建topic时配置。

        Partition数量决定了每个Consumer group中并发消费者的最大数量。

        如下图所示：

        Consumer group A 有两个消费者来读取4个partition中数据；Consumer group B有四个消费者来读取4个 partition中的数据。

3、kafka当中partition的副本数说明

        副本数（replication-factor）：控制消息保存在几个broker（服务器）上，一般情况下等于broker的个数。

一个broker服务下，是否可以创建多个副本因子？
不可以；创建主题时，副本因子应该小于等于可用的broker数。

        副本因子过程图：

        副本因子操作以分区为单位的。每个分区都有各自的主副本和从副本；主副本叫做leader，从副本叫做 follower（在有多个副本的情况下，kafka会为同一个分区下的所有分区，设定角色关系：一个leader和N个 follower），处于同步状态的副本叫做in-sync-replicas(ISR);

        follower通过拉的方式从leader同步数据。

        消费 者和生产者都是从leader读写数据，不与follower交互。

        副本因子的作用：让kafka读取数据和写入数据时的可靠性。

        副本因子是包含本身，同一个副本因子不能放在同一个Broker中。

        如果所有的副本都挂了，生产者如果生产数据到指定分区的话，将写入不成功。

5、kafka当中的segment说明

        一个partition当中由多个segment文件组成，每个segment文件，包含两部分，一个是.log文件，另外一个是.index文件，其中.log文件包含了我们发送的数据存储，.index文件记录的是我们.log文件的数据索引值，以便于我们加快数据的查询速度。

索引文件与数据文件的关系

        既然它们是一一对应成对出现，必然有关系。索引文件中元数据指向对应数据文件中message的物理偏移地址。

        比如索引文件中3,497代表：数据文件中的第三个message,它的偏移地址为497。再来看数据文件中，Message 368772表示：在全局partiton中是第368772个message。

        注：segment index file采取稀疏索引存储方式，它减少索引文件大小，通过mmap可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。

6、kafka当中的partition的offset

        任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量）。

        offset是一个long类型数字，它唯一标识了一条消息，消费者通过（offset，partition，topic）跟踪记录。

7、kafka分区与消费组的关系

        消费组： 由一个或者多个消费者组成，同一个组中的消费者对于同一条消息只消费一次。

        某一个主题下的分区数，对于消费组来说，应该小于等于该主题下的分区数。

        如：某一个主题有4个分区，那么消费组中的消费者应该小于4，而且最好与分区数成整数倍1 2 4同一个分区下的数据，在同一时刻，不能同一个消费组的不同消费者消费。

        总结：分区数越多，同一时间可以有越多的消费者来进行消费，消费数据的速度就会越快，提高消费的性能。

8、kafka当中的consumer

        consumer是kafka当中的消费者，主要用于消费kafka当中的数据，任何一个消费者都必定需要属于某一个消费组当中，任意时刻，一个分区当中的数据，只能被kafka当中同一个消费组下面的一个线程消费。

        

重点摘要

        看完上面的内容，是不是感到有点乱~不用担心，体贴的博主已经将重点提取出来了，方便大家的记忆与学习ヾ(◍°∇°◍)ﾉﾞ

生产者（Producer）:kafka当中的消息生产者，生产的消息通过topic进行归类，保存到kafka的broker里面去

主题（topic）: 一个主题可以有零个，一个或者多个消费者订阅写入的数据。可以有无数个主题。

分区（partition）: 每一个分区的数据是有序的,多个partition之间是无需的。Partition数量决定了每个Consumer group中并发消费者的最大数量。

分区和消费组之间的关系：同一个组中的消费者对于同一条消息只消费一次。

        消费者应该小于等于该主题下的分区数.
        Partition = 消费任务的并发度=刚刚好，每个任务读取一个partition数据
        Partition >消费任务的并发度=有部分消费任务读取多个分区的数据
        Partition < 消费任务的并发度=有部分消费任务空闲
        任何时候，分区中的一条数据只能被一个消费组中的一个消费任务读取。

总结：分区数越多，同一时间可以有越多的消费者来进行消费，消费数据的速度就会越快，提高消费的性能。

数据副本（Replicas）：数据副本数一般情况下小于等于broker的个数，

        每个分区都有各自的主副本（在哪里复制的）和从副本（复制出来的）。
        follower通过拉的方式从leader同步数据。
        消费者和生产者都是从leader读写数据，不与follower交互。副本只用来提高集群的可靠性。
         一个分区有三个副本因子，一个挂掉（主福本），不会在其他的broker中，另启动一个副本。丢失的副本不会恢复。
        lsr表示：当前可用的副本列表
        Segment：一个partition当中有多个segment，一个segment由一个是.log文件和一个.index文件
        偏移量（Offset）：每条消息在文件中的位置称为offset（偏移量）
        消费者（Consumer）：任何一个消费者都必定需要属于某一个消费组当中。

 

其他详解

1. 什么是Kafka

        kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统。

2. Kafka的使用场景

        应用耦合、异步处理、限流削峰、消息驱动的系统。

3. Kafka优缺点

优点：

        可靠性强（分布式-分区-副本）、扩展性强（可伸缩）、性能高（数据读写）、耐用性强（数据持久化）、时效性强。

缺点：

• 由于是批量发送，数据并非真正的实时。

• 仅支持统一分区内消息有序，无法实现全局消息有序；

• 有可能消息重复消费；

• 依赖zookeeper进行元数据管理。

4. Kafka架构（流程）

        生产者、kafka集群、消费者、zookeeper

5. Kafka架构（API）

        生产者、消费者、StreamAPI、ConnectAPI

6.Topic内部有哪些组成？

        每个Topic包含一个或者多个Partition，一个partition当中存在多个segment文件段，每个segment分为两部分，.log文件和.index文件。

7.分区和消费组内的消费者之间的关系有哪些情况？

        Partition = 消费任务的并发度=刚刚好，每个任务读取一个partition数据

        Partition > 消费任务的并发度=有部分消费任务读取多个分区的数据

        Partition < 消费任务的并发度=有部分消费任务空闲(可以创建多于分区的消费者数量)

8. 分区数、消费者与读取效率之间的关系

        分区数越多，同一时间可以有越多的消费者来进行消费，消费数据的速度就会越快，提高消费的性能

9. 副本数与broker之间的关系

        数据副本（包含本身）数一般情况下小于等于broker的个数

10. 什么是主/从副本

        被复制的分区叫做主副本（Leader）,复制出来的叫做从副本（Follower）

11. 主/从复本的作用是什么

        主副本负责数据的读写。
        从副本只做数据备份，不做数据读写。

12. Isr是什么

        ISR是一组与leaders完全同步的消息副本（包括leaders本身）。

13. 生产者生产数据到kafka集群，数据到分区的方式

        a)没有指定分区编号，没有指定key时采用轮询方式存储数据

        b)没有指定分区编号，指定key时，数据分发策略为对key求取hash值，这个值与分区数量取余，余数就是分区编号。

        c)指定分区编号，所有数据输入到指定的分区内

        d)自定义分区

14. Consumer消费数据的流程

        1、首先Consumer连接指定的Topic partition所在leader broker，使用折半/二分查找，先确定数据所在的segment。

        2、确定在哪个segment后，使用确定的segment内的index文件找到数据具体的位置采用pull方式从kafkalogs中获取消息。

15. Kafka中的数据删除机制是什么？

        1、时间：默认存储168小时（一周）

        2、数据的大小：默认 -1 （不删除），可以自行设置。

16. Kafka如何保证数据不丢失

        从大体上来看的话，Kafka中主要的角色有数据生产者(Producer)，Kafka集群中负责存储数据的Broker，数据消费者（Consumer），因此这个问题需要从三个角度来进行回答!

        1、生产者如何保证数据不丢失？？ 通过ack 机制确保数据不丢失。

        2、kafka集群如何保证数据不丢失？？ 通过数据副本保证数据不丢失。

        3、消费者如何保证数据不丢失？？ 通过维护数据的offset 保证数据不丢失。

17. Kafka高性能的原因有哪里

        顺序读写、分区、批量发送、数据压缩

18. Kafka高效查询数据的有哪些原因

        1、Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。

        2、通过索引信息可以快速定位message和确定response的最大大小。

        3、通过index元数据全部映射到memory，可以避免segment file的IO磁盘操作。

        4、通过索引文件稀疏存储，可以大幅降低index文件元数据占用空间大小。

19. 如何从Kafka得到准确的信息(不是重读数据)?

        在数据生产过程中避免重复。

        在数据消耗期间避免重复。

20. Kafka的设计是什么样的呢？

        Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers。将预订topics并消费消息的程序成为consumer。 Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker。producers通过网络将消息发送到Kafka集群，集群向消费者提供消息。

21. 数据传输的事物定义有哪三种？

        1、最多一次:消息不会被重复发送，最多被传输一次，但也有可能一次不传输，可能会造成数据丢失。

        2、最少一次: 消息不会被漏发送，最少被传输一次，但也有可能被重复传输。可能会造成数据的重复消费。

        3、精确的一次（Exactly once）:不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一次，这是大家所期望的。

22. Kafka判断一个节点是否还活着有哪些条件？

        1、节点必须可以维护和ZooKeeper的连接，Zookeeper通过心跳机制检查每个节点的连接

        2、如果节点是个follower,他必须能及时的同步leader的写操作，延时不能太久

23. Kafka 与传统消息系统之间有哪些区别？

        1、Kafka 持久化日志：这些日志可以被重复读取和无限期保留

        2、Kafka 是一个分布式系统：它以集群的方式运行，可以灵活伸缩，在内部通过复制数据提升容错能力和高可用性

        3、Kafka 支持实时的流式处理

24. Kafka创建Topic时将分区放置到不同的Broker的策略是什么？

        前提：副本因子不能大于 Broker 的个数；

        第一个分区（编号为0）的第一个副本放置位置是随机从 brokerList 选择的；

        其他分区的第一个副本放置位置相对于第0个分区依次往后移。

        例如：有5个 Broker，5个分区，假设第一个分区放在第四个 Broker 上，那么第二个分区将会放在第五个 Broker 上；第三个分区将会放在第一个 Broker 上；第四个分区将会放在第二个 Broker 上，第五个分区将会放在第三个 Broker 上；

25. Kafka新建的分区会在哪个目录下创建

        若 log.dirs 参数只配置了一个目录，那么分配到各个 Broker 上的分区将在这个目录下创建文件夹用于存放数据。

        若 log.dirs 参数配置了多个目录，那么 Kafka 会在含有分区目录总数最少的文件夹中创建新的分区目录，分区目录名为 Topic名+分区ID。注意（不是磁盘使用量最少的目录）
        

26. partition的数据如何保存到硬盘

        topic中的多个partition以文件夹的形式保存到broker，每个分区序号从0递增， 且消息有序 Partition文件下有多个segment（xxx.index，xxx.log） segment 文件里的 大小和配置文件大小一致可以根据要求修改 默认为1g 如果大小大于1g时，会滚动一个新的segment并且以上一个segment最后一条消息的偏移量命名。

27. kafka的ack机制

        request.required.acks有三个值 0 1 -1

        0:生产者不会等待broker的ack，这个延迟最低但是存储的保证最弱当server挂掉的时候就会丢数据

        1：服务端会等待ack值 leader副本确认接收到消息后发送ack但是如果leader挂掉后它不确保是否复制完成新leader也会导致数据丢失

        -1：同样在1的基础上 服务端会等所有的follower的副本受到数据后才会受到leader发出的ack，这样数据不会丢失

28. Kafka的消费者如何消费数据

        消费者每次消费数据的时候，消费者都会记录消费的物理偏移量（offset）的位置 等到下次消费时，他会接着上次位置继续消费。同时也可以按照指定的offset进行重新消费。

29. 如何使kafka集群内的数据是有序的？

        只创建一个分区。（但是实际这样会存在性能问题，具体业务具体分析后确认。）

30. Zookeeper汇总保留了哪些数据？

        1、消费者提交的偏移量。
        2、leader检测、分布式同步、配置管理、识别新节点何时离开或连接、集群、节点实时状态
        3、分区和消费者的所有者关
        4、broker id

31. kafka consumer 什么情况会触发再平衡reblance?

        1、一旦消费者加入或退出消费组，导致消费组成员列表发生变化，消费组中的所有消费者都要执行再平衡。
        2、订阅主题分区发生变化，所有消费者也都要再平衡。

32、描述下kafka consumer 再平衡步骤?

        1、关闭数据拉取线程，清空队列和消息流，提交偏移量；
        2、释放分区所有权，删除zk中分区和消费者的所有者关系；
        3、将所有分区重新分配给每个消费者，每个消费者都会分到不同分区；
        4、将分区对应的消费者所有关系写入ZK，记录分区的所有权信息；
        5、重启消费者拉取线程管理器，管理每个分区的拉取线程。

33. 手动提交offset有什么好处？？

        使更新offset更及时，避免因offset更新不及时导致重复消费数据的问题。

34. 为什么kafka中的数据需要定期删除或合并？

        Kafka只用于做数据的临时存储、临时缓冲，不是永久存储（永久性存储使用HDFS）。

 

 

参考

https://blog.csdn.net/weixin_44318830/article/details/105014932

https://blog.csdn.net/weixin_44318830/article/details/105072995