binlake:MySQL二进制日志湖,实时将MySQL Binlog转储到MQ

时间:2024-06-02 07:43:11
【文件属性】:

文件名称:binlake:MySQL二进制日志湖,实时将MySQL Binlog转储到MQ

文件大小:918KB

文件格式:ZIP

更新时间:2024-06-02 07:43:11

Java

binlake BinLake是一个集群化的数据库Binary Log管理、采集和分发系统,并且透明集成JMQ和Kafka等消息分发和订阅系统。 ## 背景 项目背景 BinLake之前,各个业务部门若想要对数据库的binlog日志进行采集和订阅,并根据订阅到的BinLog日志进行分析并实现特定的业务目标需要经过: 日志采集产品调研 资源申请 Binary Log采集服务部署 发布订阅系统调研(eg:kafka) 日志采集与消息发布订阅系统集成开发与测试 业务应用开发、测试、上线 按照上述步骤依次进行,我们发现在步入正题(业务系统研发)之前,我们需要做的太多太多,这种方式既费时又费力,工作效率及其低下。 除此之外,在BinLake出现之前,各个业务部门需要若想要基于MySQL 的Binary Log进行进行业务研发, 每个部门都需要配备专业的日志采集和消息处理的专业工程师, 并且都需要从头


网友评论