文件名称：beast:将数据从Kafka加载到任何数据仓库
文件大小：268KB
文件格式：ZIP
更新时间：2024-05-27 23:54:19
bigquery kafka beast warehouse Java
兽 卡夫卡到BigQuery水槽 建筑学 使用者：分批使用来自kafka的消息，并将这些批处理推入“读取和提交”队列。 这些队列是阻塞队列，即，如果队列已满，将不再消耗任何消息。 （这可以根据轮询超时进行配置） BigQuery Worker ：轮询读取队列中的消息，并将其推送到BigQuery。 如果推送操作成功，则BQ工作者将确认发送给提交者。 Committer ：Committer从BQ Workers收到成功推送到BigQuery的确认。 所有这些确认都存储在提交者内的集合中。 Committer轮询提交队列以获取消息批处理。 如果该批次存在于集合中，即该批次已成功推送到BQ，则它将提交该批次的最大偏移量，并返回到Kafka，并从提交队列和集合中弹出它。 死信：Beast提供了可插入的GCS（Google云存储）组件，用于存储BigQuery拒绝的无效越界消息。 通常，所