canal介绍
canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。
基于日志增量订阅和消费的业务包括
- 数据库镜像
- 数据库实时备份
- 索引构建和实时维护(拆分异构索引、倒排索引等)
- 业务 cache 刷新
- 带业务逻辑的增量数据处理
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x
github地址：https://github.com/alibaba/canal
canal工作原理
MySQL主备复制原理
- MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
- MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
- MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据
可以参考：【Mysql】主从同步配置
- canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
- MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)
canal实时监控测试
参考：https://github.com/alibaba/canal/wiki/QuickStart
-
对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下
[mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复
-
授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant
CREATE USER canal IDENTIFIED BY 'canal'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ; FLUSH PRIVILEGES;
-
下载 canal, 访问 release 页面 , 选择需要的包下载, 如以 1.1.7 版本为例
-
解压缩
-
配置修改
- conf/canal.properties ，canal-server配置文件，可以无需修改是用默认配置即可
# canal-server默认模式是tcp模式，且支持一下模式 # tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ canal.serverMode = tcp
# 配置项用于指定 Canal 实例要复制的目标名称。可以将多个目标名称以逗号分隔的形式列出
canal.destinations = example - conf/example/instance.properties， 对应example的实例配置
# canal 实例作为mysql从节点ID canal.instance.mysql.slaveId=20 # canal 复制的mysq 主节点信息 canal.instance.master.address=127.0.0.1:3306 # 账号/密码 canal.instance.dbUsername=canal canal.instance.dbPassword=canal
- conf/canal.properties ，canal-server配置文件，可以无需修改是用默认配置即可
-
启动canal-server
windows系统：bin/startup.bat -
查看 server 日志
-
logs/canal/canal.log
2024-03-27 07:41:16.910 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler 2024-03-27 07:41:16.928 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations 2024-03-27 07:41:16.937 [main] INFO com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server. 2024-03-27 07:41:17.067 [main] INFO com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[127.0.0.1(127.0.0.1):11111] 2024-03-27 07:41:18.535 [main] INFO com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......
-
-
查看 instance 的日志
-
logs/canal/canal.log
2024-03-27 07:46:43.171 [main] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 2024-03-27 07:46:43.631 [main] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$ 2024-03-27 07:46:43.631 [main] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : ^mysql\.slave_.*$ 2024-03-27 07:46:43.633 [main] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - start successful.... 2024-03-27 07:46:43.909 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first position 2024-03-27 07:46:43.910 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just show master status 2024-03-27 07:46:44.688 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mysql-bin.000002,position=34591,serverId=1,gtid=,timestamp=1710929405000] cost : 769ms , the next step is binlog dump
-
-
关闭canal-server
windows关掉窗口即可
Java-CanalClient 获取数据
canal数据结构
- 新建Maven项目，引入依赖
<dependency> <groupId>com.alibaba.otter</groupId> <artifactId>canal.client</artifactId> <version>1.1.2</version> </dependency> - 运行以下代码
package org.example; import com.alibaba.fastjson.JSONObject; import com.alibaba.otter.canal.client.CanalConnector; import com.alibaba.otter.canal.client.CanalConnectors; import com.alibaba.otter.canal.protocol.CanalEntry; import com.alibaba.otter.canal.protocol.Message; import com.google.protobuf.ByteString; import com.google.protobuf.InvalidProtocolBufferException; import java.net.InetSocketAddress; import java.util.List; public class CanalClient { public static void main(String[] args) throws InterruptedException, InvalidProtocolBufferException { //TODO 获取连接 CanalConnector canalConnector = CanalConnectors.newSingleConnector(new InetSocketAddress("localhost", 11111), "example", "", ""); while (true) { //TODO 连接 canalConnector.connect(); //TODO 订阅数据库 canalConnector.subscribe("test.*"); //TODO 获取数据 Message message = canalConnector.get(100); //TODO 获取Entry集合 List<CanalEntry.Entry> entries = message.getEntries(); //TODO 判断集合是否为空,如果为空,则等待一会继续拉取数据 if (entries.size() <= 0) { System.out.println("当次抓取没有数据，休息一会。。。。。。"); Thread.sleep(1000); } else { //TODO 遍历entries，单条解析 for (CanalEntry.Entry entry : entries) { //1.获取表名 String tableName = entry.getHeader().getTableName(); //2.获取类型 CanalEntry.EntryType entryType = entry.getEntryType(); //3.获取序列化后的数据 ByteString storeValue = entry.getStoreValue(); //4.判断当前entryType类型是否为ROWDATA if (CanalEntry.EntryType.ROWDATA.equals(entryType)) { //5.反序列化数据 CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue); //6.获取当前事件的操作类型 CanalEntry.EventType eventType = rowChange.getEventType(); //7.获取数据集 List<CanalEntry.RowData> rowDataList = rowChange.getRowDatasList(); //8.遍历rowDataList，并打印数据集 for (CanalEntry.RowData rowData : rowDataList) { JSONObject beforeData = new JSONObject(); List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList(); for (CanalEntry.Column column : beforeColumnsList) { beforeData.put(column.getName(), column.getValue()); } JSONObject afterData = new JSONObject(); List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList(); for (CanalEntry.Column column : afterColumnsList) { afterData.put(column.getName(), column.getValue()); } //数据打印 System.out.println("Table:" + tableName + ",EventType:" + eventType + ",Before:" + beforeData + ",After:" + afterData); } } else { System.out.println("当前操作类型为：" + entryType); } } } } } }
- 插入数据到MySQL，
INSERT INTO `test`.`user` (`id`, `name`) VALUES (3, '小红');
当次抓取没有数据，休息一会。。。。。。 当前操作类型为：TRANSACTIONBEGIN Table:user,EventType:INSERT,Before:{},After:{"name":"小红","id":"3"} 当前操作类型为：TRANSACTIONEND 当次抓取没有数据，休息一会。。。。。。 - 更新数据
UPDATE `test`.`user` SET `name` = '小红2' WHERE `id` = 3;
当次抓取没有数据，休息一会。。。。。。 当前操作类型为：TRANSACTIONBEGIN Table:user,EventType:UPDATE,Before:{"name":"小红","id":"3"},After:{"name":"小红2","id":"3"} 当前操作类型为：TRANSACTIONEND 当次抓取没有数据，休息一会。。。。。。 - 删除数据
DELETE FROM `test`.`user` WHERE `id` = 3;
当前操作类型为：TRANSACTIONBEGIN Table:user,EventType:DELETE,Before:{"name":"小红2","id":"3"},After:{} 当前操作类型为：TRANSACTIONEND
