Kafka消息中间件学习笔记

时间:2020-12-09 03:56:24
1 关键术语Topic对一组消息的归纳。Producer将消息发送给Topic之后,订阅了topic的Consumer就能收到相应消息。Topic中的消息是有实效的,过了保存期限就会被丢弃以释放空间。Consumer唯一需要维护的数据是在消息在日志中的位置,即offset。当Consumer不断读取消息,offset也会不断增加。Producer:发送消息到Topic,并决定发到哪个分区。决定分区方法:负载均衡机制选择和通过特定分区函数指定。通常使用第二种。Leader和followers:每个分区都由一个服务器作为“leader”,零或若干服务器作为“followers”,leader负责处理消息的读和写,followers则去复制leader.如果leader down了,followers中的一台则会自动成为leader。集群中的每个服务都会同时扮演两个角色:作为它所持有的一部分分区的leader,同时作为其他分区的followers,这样集群就会据有较好的负载均衡。两种消息发布方式:队列模式和发布-订阅模式。队列模式(一对一):consumers可以同时从服务端读取消息,每个消息只被其中一个consumer读到。若所有的consumer都在一个组中,这就成为了传统的队列模式,在各consumer中实现负载均衡发布-订阅模式(一对多):发布-订阅模式中消息被广播到所有的consumer中。如果所有的consumer都不在不同的组中,这就成为了发布-订阅模式,所有的消息都被分发到所有的consumer中broker:表示一个kafka服务器,启动kafka的时候需要配置相应的server.properties,其中有配置 broker.id=2,表示在集群中唯一的标注一个节点leader:负责处理消息的读和写,leader是从所有节点中随机选择的.replicas:列出了所有的副本节点,不管节点是否在服务中.isr:是正在服务中的节点.2 独特设计:2.1 一个分布式的、可分区的、可复制的消息系统。2.2 客户端和服务端通过TCP协议通信。Kafka提供了Java客户端,并且对多种语言都提供了支持。
3 对于每个topic 维护一个分区,分区是一个顺序,不变的队列,每个消息在队列中有一个序号。这个序号由消费者来维护。

http://blog.csdn.net/smallnest/article/details/38491483
资源:http://blog.csdn.net/hmsiwtv/article/details/46960053