【文件属性】:
文件名称:运河:阿里巴巴MySQL binlog增量订阅和消费组件
文件大小:12.92MB
文件格式:ZIP
更新时间:2021-02-08 02:02:49
Java
简介
canal [kə'næl] ,译意为水道/管道/沟渠,主要用途是基于MySQL数据库增量日志解析,提供增量数据订阅和消费
从2010年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由2010年1月1日起,早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务触发获取增量变更。此衍生出逐步的数据库增量订阅和消费业务。
基于日志增量订阅和消费的业务包括
数据库架构
数据库实时备份
索引建立和实时维护(分散索引,倒排索引等)
业务缓存刷新
带业务逻辑的增量数据处理
当前的运河支持源端MySQL版本包括5.1.x,5.5.x,5.6.x,5.7.x,8.0.x
工作原理
MySQL主备复制原理
MySQL master将数据记录到二进制日志事件中,可以通过显示binlog事件进行查看
MySQLslave将master的二进制日志事件复制到它的中