【Kafka】记录一次Kafka消费者重复消费问题-排查过程时间:2024-07-07 06:57:00 从监控中看,消费者有了100多条积压,并且持续了很长时间; 从业务上,有一个用户同一时间上传了大量大文件; 只有一个消费者,服务端瞬间产生大量消息,同一时间推送给了消费者; 消费者处理Embedding任务超过两小时,导致这一批消息提交offset超时; 服务端认为客户端处理消息失败,一直进行重新推送,所以造成了没报错,但是一直重复消费的情况。