单机kafka性能需要高性能的硬件做支撑

时间:2024-10-25 11:04:53

        一般来说,单机kafka在硬件支持的情况下,能支持每秒100万写入,如果硬件没有那么好的话(机械硬盘,容器内给内存8G, CPU也不是很好),就只能减少每秒的写入量,每秒写入5万都比较不错了。

        如果强行每秒写入超过单机kafka的性能上限,kafka会处理不过来,导致拒绝写入,从而导致poll拉取间隔超时,超时时间通过 max.poll.interval.ms 配置。

        所以还是不要让单机kafka去干超出它性能的事情,如果非要使用单机kafka,就降低写入速度,用时间去换懒惰(没人搭建kafka集群,或难以使用第三方提供的需要配置kerberos认证的kafka)