【Canal】01 入门 & Kafka模式
什么是Canal (卡耐尔) ？
Canal 是用 Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件
原理基于MySQL的binlog从库监听
一、MySQL环境配置
1、更改MySQL配置 （my.ini / my.cnf）：
[mysqld] # 主库id标识 server-id=1 # 开启binlog日志 log-bin=mysql-bin # 日志格式类型 binlog_format=row # （可选）声明只对哪个库进行日志输出 binlog-do-db=gmall-2021
2、测试用例
没有表就创建一个测试用的表：
CREATE TABLE user_info( `id` VARCHAR(255), `name` VARCHAR(255), `sex` VARCHAR(255) );
3、监听的账号
和主从复制一样，需要提供一个从库监听的账号：
CREATE USER 'canal'@'%' IDENTIFIED BY '123456'; GRANT ALL ON *.* TO 'canal'@'%' WITH GRANT OPTION; FLUSH PRIVILEGES; -- GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
二、安装Canal
Linux平台：
# 解压方式一 tar -zxvf canal.deployer-1.1.2.tar.gz mkdir canal.deployer-1.1.2 mv bin canal.deployer-1.1.2/ mv logs canal.deployer-1.1.2/ mv lib canal.deployer-1.1.2/ mv conf canal.deployer-1.1.2/ # 解压方式二 mkdir ~/canal-1.1.2 tar -zxvf canal.deployer-1.1.2.tar.gz -C ~/canal-1.1.2/
Windows平台：
新建一个canal的目录，然后打开目录
把压缩包内容解压到目录中即可
通用配置操作：
案例只是为了演示，单机运行的方式进行配置
# 备份 instance.properties文件 cd ~/canal-1.1.2/example cp instance.properties instance.properties.bak
编辑example下的实例文件
vim ~/canal-1.1.2/conf/example/instance.properties
关键参数项：
# 伪装从库的id，不要和主库id一致即可 canal.instance.mysql.slaveId=20 # 主库IP地址和端口号 canal.instance.master.address=192.168.2.225:3308 # 主库开设的监听账号 canal.instance.dbUsername=canal canal.instance.dbPassword=123456 # 字符集 canal.instance.connectionCharset=UTF-8 # 默认监听的db? canal.instance.defaultDatabaseName=canal
三、启动，关闭Canal
restart.sh startup.bat startup.sh stop.sh # windows 平台直接运行 startup.bat # 关闭就是直接关闭终端窗口即可 startup.bat # linux 平台 startup.sh # 启动 restart.sh # 重启 stop.sh # 停止
四、创建Canal监听客户端：
canal没有提供默认的终端输出，强制要求客户端监听日志消息：这里使用Java做一个客户端来查看消息
创建普通Maven项目，引入两个依赖
<dependencies> <dependency> <groupId>com.alibaba.otter</groupId> <artifactId>canal.client</artifactId> <version>1.1.2</version> </dependency> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.1</version> </dependency> </dependencies>
客户端类：
import com.alibaba.fastjson.JSONObject; import com.alibaba.otter.canal.client.CanalConnector; import com.alibaba.otter.canal.client.CanalConnectors; import com.alibaba.otter.canal.protocol.CanalEntry; import com.alibaba.otter.canal.protocol.Message; import com.google.protobuf.ByteString; import com.google.protobuf.InvalidProtocolBufferException; import java.net.InetSocketAddress; import java.util.List; public class CanalClient { public static void main(String[] args) throws InterruptedException, InvalidProtocolBufferException { //TODO 获取连接 CanalConnector canalConnector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1", 11111), "example", "", ""); while (true) { //TODO 连接 canalConnector.connect(); //TODO 订阅数据库 canalConnector.subscribe("canal.*"); //TODO 获取数据 Message message = canalConnector.get(100); //TODO 获取Entry集合 List<CanalEntry.Entry> entries = message.getEntries(); //TODO 判断集合是否为空,如果为空,则等待一会继续拉取数据 if (entries.size() <= 0) { System.out.println("当次抓取没有数据，休息一会。。。。。。"); Thread.sleep(1000); } else { //TODO 遍历entries，单条解析 for (CanalEntry.Entry entry : entries) { //1.获取表名 String tableName = entry.getHeader().getTableName(); //2.获取类型 CanalEntry.EntryType entryType = entry.getEntryType(); //3.获取序列化后的数据 ByteString storeValue = entry.getStoreValue(); //4.判断当前entryType类型是否为ROWDATA if (CanalEntry.EntryType.ROWDATA.equals(entryType)) { //5.反序列化数据 CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue); //6.获取当前事件的操作类型 CanalEntry.EventType eventType = rowChange.getEventType(); //7.获取数据集 List<CanalEntry.RowData> rowDataList = rowChange.getRowDatasList(); //8.遍历rowDataList，并打印数据集 for (CanalEntry.RowData rowData : rowDataList) { JSONObject beforeData = new JSONObject(); List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList(); for (CanalEntry.Column column : beforeColumnsList) { beforeData.put(column.getName(), column.getValue()); } JSONObject afterData = new JSONObject(); List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList(); for (CanalEntry.Column column : afterColumnsList) { afterData.put(column.getName(), column.getValue()); } //数据打印 System.out.println("Table:" + tableName + ",EventType:" + eventType + ",Before:" + beforeData + ",After:" + afterData); } } else { System.out.println("当前操作类型为：" + entryType); } } } } } }
开启后，想指定的表中写入数据：
客户端输出消息：
当次抓取没有数据，休息一会。。。。。。 当次抓取没有数据，休息一会。。。。。。 当次抓取没有数据，休息一会。。。。。。 当次抓取没有数据，休息一会。。。。。。 当前操作类型为：TRANSACTIONBEGIN Table:user_info,EventType:INSERT,Before:{},After:{"sex":"男","name":"张三","id":"1"} 当前操作类型为：TRANSACTIONEND 当前操作类型为：TRANSACTIONBEGIN Table:user_info,EventType:INSERT,Before:{},After:{"sex":"男","name":"张三","id":"2"} 当前操作类型为：TRANSACTIONEND 当次抓取没有数据，休息一会。。。。。。
五、Kafka模式
修改 canal.properties
# 指定输出模式为kafka canal.serverMode = kafka # kafka集群地址，如单机，则写一个即可 canal.mq.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
修改 example/instance.properties
# mq config # 指定Topic名称 和 分区数量 canal.mq.topic=canal_test canal.mq.partitionsNum=1
重启canal以加载配置信息
启动Kafka消费者来查看是否运行:
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic canal_test
执行插入SQL：
INSERT INTO user_info VALUES('1001','zhangsan','male'),('1002','lisi','female');
Kafka控制台：
{ "data": [ { "id": "1001", "name": "zhangsan", "sex": "male" }, { "id": "1002", "name": "lisi", "sex": "female" } ], "database": "gmall-2021", "es": 1639360729000, "id": 1, "isDdl": false, "mysqlType": { "id": "varchar(255)", "name": "varchar(255)", "sex": "varchar(255)" }, "old": "null", "sql": "", "sqlType": { "id": 12, "name": 12, "sex": 12 }, "table": "user_info", "ts": 1639361038454, "type": "INSERT" }
