文件名称:运河:阿里巴巴MySQL binlog增量订阅和消费组件
文件大小:12.92MB
文件格式:ZIP
更新时间:2024-02-28 19:49:29
Java
简介 canal [kə'næl] ,译意为水道/管道/沟渠,主要用途是基于MySQL数据库增量日志解析,提供增量数据订阅和消费 从2010年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由2010年1月1日起,早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务触发获取增量变更。此衍生出逐步的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包括 数据库架构 数据库实时备份 索引建立和实时维护(分散索引,倒排索引等) 业务缓存刷新 带业务逻辑的增量数据处理 当前的运河支持源端MySQL版本包括5.1.x,5.5.x,5.6.x,5.7.x,8.0.x 工作原理 MySQL主备复制原理 MySQL master将数据记录到二进制日志事件中,可以通过显示binlog事件进行查看 MySQLslave将master的二进制日志事件复制到它的中