chaperone:Kafka审核系统

时间:2024-03-31 09:30:40
【文件属性】:

文件名称:chaperone:Kafka审核系统

文件大小:239KB

文件格式:ZIP

更新时间:2024-03-31 09:30:40

系统开源

伴侣分子 (不建议使用此项目,并且不对其进行维护。) 作为Kafka审核系统,伴侣可以监视数据流的完整性和延迟。 Kafka用户的审核指标将保留在数据库中,以量化其主题的损失(如果有)。 基本上,伴侣将时间线切成10分钟的存储桶,并根据其事件时间将消息分配给相应的存储桶。 存储桶的统计信息会相应更新,例如消息总数。 这些统计数据会定期发送给专门的Kafka主题,例如“陪伴审核”。 ChaperoneCollector将使用本主题中的那些统计信息并将其持久保存到数据库中。 ============伴侣分子由几种成分组成: ChaperoneClient是一个库,可以像Kafka Producer或Consumer一样放入库中,以在消息通过时对其进行审核。 审核统计信息将发送到专门的Kafka主题,例如“陪伴审核”。 ChaperoneCollector消耗“ chaperone-a


网友评论