动态配置 : 修改参数后，无需重启 Broker 就能生效
Kafka 1.1 后的 Dynamic Update Mode 列 :
- read-only : 只有重启 Broker，才能生效
- per-broker : 动态参数，修改后，就能生效
- cluster-wide : 动态参数，修改后，整个集群范围内生效
动态 Broker :
- 动态调整 Broker 端各种线程池大小，实时应对突发流量
- 动态调整 Broker 端连接信息或安全配置信息
- 动态更新 SSL Keystore 有效期
- 动态调整 Broker 端 Compact 操作性能
- 实时变更 JMX 指标收集器 (JMX Metrics Reporter)
配置保存
Kafka 将动态 Broker 参数保存在 ZooKeeper 中
- changes : 实时监测动态参数变更的，不会保存参数值
- topics : 保存 Kafka 主题级别参数的。虽然它们不属于动态 Broker 端参数，但其实它们也是能够动态变更的
- users 和 clients 则是用于动态调整客户端配额（Quota）的 znode 节点。所谓配额，是指 Kafka 运维人员限制连入集群的客户端的吞吐量或者是限定它们使用的 CPU 资源
/config/brokers znode 保存动态 Broker 参数, 分两大类子节点 :
-
< default >: 保存 cluster-wide 范围的动态参数 -
broker.id: 保存特定 Broker 的 per-broker 范围参数
参数的优先级：
- per-broker > cluster-wide > static > Kafka 默认值
持久化节点 : ephemeralOwner = 0x0 。ZooKeeper 重启，也不会丢失
配置
设置 cluster-wide 范围值 :
- 指定 entity-default
bin/kafka-configs.sh \
--bootstrap-server kafka-host:port \
--entity-type brokers \
--entity-default --alter --add-config unclean.leader.election.enable=true
设置 per-broker 范围参数 :
bin/kafka-configs.sh \
--bootstrap-server kafka-host:port \
--entity-type brokers \
--entity-name 1 \
--alter --add-config unclean.leader.election.enable=false
删除 cluster-wide 范围参数 :
bin/kafka-configs.sh \
--bootstrap-server kafka-host:port \
--entity-type brokers \
--entity-default \
--alter --delete-config unclean.leader.election.enable
删除 per-broker 范围参数 :
bin/kafka-configs.sh \
--bootstrap-server kafka-host:port \
--entity-type brokers \
--entity-name 1 \
--alter --delete-config unclean.leader.election.enable
查看 cluster-wide 范围参数 :
bin/kafka-configs.sh \
--bootstrap-server kafka-host:port \
--entity-type brokers \
--entity-default --describe
查看 per-broker 范围参数 :
bin/kafka-configs.sh \
--bootstrap-server kafka-host:port \
--entity-type brokers \
--entity-name 1 --describe
动态调整参数 :
-
log.retention.ms: 修改日志留存时间 -
num.io.threads: IO 处理线程数 -
num.network.threads: 网络处理线程数 -
ssl.keystore.type,ssl.keystore.location,ssl.keystore.password,ssl.key.password: 更新 Keystore -
num.replica.fetchers: Follower 副本拉取速度