Kafka相关技术文档

转载自:http://blog.csdn.NET/lizhitao/article/details/39499283

目录索引：

Kafka使用场景

1.为何使用消息系统

2.我们为何需要搭建Apache Kafka分布式系统

3.消息队列中点对点与发布订阅区别

Kafka设计与原理分析

1）apache Kafka概要介绍

2）Kafka副本同步机制理解

3) Kafka文件存储机制那些事（我在美团官博发表文章）4）Kafka数据可靠性与一致性解析5）Kafka集群partitions/replicas默认分配解析

6）Apache Kafka消息传递可靠性分析

7）Apache Kafka中Follower如何与Leader同步数据

8) Apache Kafka Broker HA机制

9）《Kafka & Mafka技术分享及讨论》  

10）Kafka内部网络框架模型分析

11）Kafka延时分析

12) MQ关注和共性分享

13）Kafka delivery保证

14）apache Kafka Replication设计分析

Kafka优化分析：

1）kafka运行环境优化分析

2) kafka server部署配置优化

相关设计方案

1）基于Kafka如何搭建一个稳定可靠的zk集群服务

2) Kafka Producer机制优化-提高发送消息可靠性

3)Kafka Consumer机制优化-保证每条消息至少消费一次

4）Mafka消息中间件系统SLA

5）基于Kafka时间粒度消息回溯设计方案

Kafka开发与管理：

1）kafak安装与使用

2）apache kafka中server.properties配置文件参数说明

3）Apache kafka客户端开发-java

4）kafka的ZkUtils类的java版本部分代码

5）kafka log4j配置

6）apache kafka的consumer初始化时获取不到消息

7）apache kafka源码构建打包

8）apache kafka迁移与扩容工具用法

Kafka运维手册

1)如何在Kafka上创建一个Topic

2)如何在Kafka上对一个Topic增加partition

3）如何在Kafka上对一个Topic增加replicas

4）如何在Kafka中修改Topic的preferred replica

5）如何在Kafka中对Topic的leader进行均衡

6）apache kafka中topic级别配置

7）apache Kafka下线broker的操作

kafka异常分析：

1）kafka LeaderNotAvailableException

2）kafka.common.ConsumerRebalanceFailedException异常解决办法

3)  apache Kafka中partition的leader为-1情况分析

4) kafka-0.8.2.1-src编译报错解决办法

Kafka线上CaseStudy

1）Consumer rebalance失败问题定位和解决思路

2）线上Mafka集群网卡打爆原因分析及解决方案

kafka管理与运维监控相关：

1）apache kafka监控系列-监控指标

2）apache kafka jmx监控指标参数

3）apache kafka监控系列-kafka-web-console

4）apache kafka监控系列-KafkaOffsetMonitor

5）雅虎开源管理工具Kafka Manager

6）Zookeeper管理或操作Apache Kafka

kafka性能测试：

1）apache kafka性能测试命令使用和构建kafka-perf

2）Kafka性能测试报告(虚拟机版)

kafka源码分析：

1）kafka在zookeeper中存储结构

2）kafka replication设计机制

3）Kafka Producer处理逻辑

4）apache kafka源代码工程环境搭建(IDEA)

5）Kafka Controller设计机制

6） kafka broker内部架构

7）apache kafka源码分析走读-kafka整体结构分析

8）apache kafka源码分析走读-Producer分析

9）apache kafka性能优化架构分析

10）apache kafka源码分析走读-server端网络架构分析

11）apache kafka源码分析走读-ZookeeperConsumerConnector分析

12）kafka & mafka client开发与实践

13）kafka的ZookeeperConsumer实现

14）Kafka通过timestamp获取offset的机制详解

15)  apache Kafka是如何实现删除数据文件(日志)的

16）kafka broker shutdown过程分析

17)   apache kafka系列之源码分析走读-kafkaApi详解

18)apache kafka系列之源码分析走读-SocketServer分析

Makfa平台

1）mafka平台架构

2) Mafka Roadmap和实现

业界MQ分析

关闭
1.腾讯 VS 阿里 VS 携程消息中间件设计方案及思路
学习成长1）工程师的六大意识
Kafka中国社区QQ群友博客引用1）Kafka0.8.2.1删除topic逻辑2）探讨kafka的分区数与多线程消费3） 

flume写入kafka，使用自带的org.apache.flume.sink.kafka.KafkaSink启动sink报错

4) 

 Kafka集群平滑重启5) Kafka副本管理—— 为何去掉replica.lag.max.messages参数6) Kafka原理以及设计实现思想7) Linkedin Kafka Monitor安装使用8）Kafka如何创建topic？9) Kafka源码分析 KafkaApis(LogAppend)10) Kafka源码分析 ISR和Replica11) Kafka源码深度解析12) 分布式消息队列RocketMQ与Kafka的18项差异之“拨乱反正”13）分布式消息队列RocketMQ与Kafka的18项差异之“拨乱反正“之214) Apache Kafka最佳实践15) 解决kafka集群由于默认的__consumer_offsets这个topic的默认的副本数为1而存在的单点故障问题16）kafka数据可靠性深度解17）kafka【系统配置说明】 - server.properties18)  kafka学习笔记：知识点整理19) Kafka 高性能吞吐揭秘