kettle从入门到精通 第六十九课 ETL之kettle kettle cdc mysql，轻松实现实时增量同步

合集 - kettle(45)

1.kettle从入门到精通 第五十一课 ETL之kettle Avro input2024-04-052.kettle从入门到精通 第五十二课 ETL之kettle Avro output2024-04-143.kettle从入门到精通 第五十三课 ETL之kettle MQTT/RabbitMQ producer 实战2024-04-214.kettle从入门到精通 第五十三课 ETL之kettle MQTT/RabbitMQ consumer实战2024-04-215.Kettle调优教程（推荐收藏）2024-06-046.kettle从入门到精通 第五十五课 ETL之kettle Excel输入2024-05-057.kettle从入门到精通 第五十六课 ETL之kettle Microsoft Excel Output2024-05-058.kettle从入门到精通 第五十八课 ETL之kettle HTTP post使用教程2024-05-109.kettle从入门到精通 第五十九课 ETL之kettle 邮件发送多个附件，使用正则轻松解决2024-05-1210.kettle从入门到精通 第六十课 ETL之kettle for循环处理每条数据，so easy！2024-05-1511.kettle从入门到精通 第六十三课 ETL之kettle kettle调用python脚本的两种方法2024-05-2512.kettle从入门到精通 第六十四课 ETL之kettle kettle中执行SQL脚本步骤，使用需当心2024-06-0313.kettle从入门到精通 第六十五课 ETL之kettle 执行动态SQL语句，轻松实现全量&增量数据同步2024-06-0414.kettle从入门到精通 第六十六课 ETL之kettle kettle阻塞教程，轻松获取最后一行数据，so easy2024-06-0815.kettle从入门到精通 第六十七课 ETL之kettle 再谈kettle阻塞，阻塞多个分支的多个步骤2024-06-1016.kettle从入门到精通 第六十八课 ETL之kettle kettle随机数生成的一些方案2024-06-12

17.kettle从入门到精通 第六十九课 ETL之kettle kettle cdc mysql，轻松实现实时增量同步2024-06-14

18.kettle从入门到精通 第七十课 ETL之kettle kettle数据校验，脏数据清洗轻松拿捏2024-06-1519.kettle从入门到精通 第七十一课 ETL之kettle 再谈http post，轻松掌握body中传递json参数2024-06-1820.kettle从入门到精通 第七十二课 ETL之kettle 三谈http post（含文件上传），彻底掌握参数传递2024-06-2121.kettle从入门到精通 第七十三课 ETL之kettle kettle调用http分页接口教程2024-06-2222.kettle从入门到精通 第七十四课 ETL之kettle kettle调用https接口教程，忽略SSL校验2024-07-0223.kettle从入门到精通 第七十五课 ETL之kettle血缘，数据血缘2024-07-1524.kettle从入门到精通 第七十六课 ETL之kettle kettle连接hive教程2024-07-1725.kettle从入门到精通 第七十七课 ETL之kettle kettle执行存储过程，接收数据集2024-07-1726.kettle从入门到精通 第七十八课 ETL之kettle kettle将文件写入数据库BLOB字段2024-07-2027.kettle从入门到精通 第七十九课 ETL之kettle kettle读取数据库BLOB字段转换为文件2024-07-2028.kettle从入门到精通 第八十课 ETL之kettle kettle中的json对象字段写入postgresql中的json字段2024-07-2629.kettle从入门到精通 第八十一课 ETL之kettle kettle中的json对象字段写入postgresql中的json字段正确姿势2024-07-2630.kettle从入门到精通 第八十二课 ETL之kettle kettle中的【阻塞数据直到步骤都完成】使用教程2024-08-0231.kettle从入门到精通 第八十三课 ETL之kettle kettle调用python且接收返回值2024-08-0432.kettle从入门到精通 第八十四课 ETL之kettle kettle中Get data from XML使用实战教程2024-08-0533.kettle从入门到精通 第八十五课 ETL之kettle kettle中javascript步骤调用外部javascript/js文件2024-09-1534.kettle从入门到精通 第八十六课 ETL之kettle kettle调用https接口忽略SSL校验2024-09-2335.kettle从入门到精通 第八十七课 ETL之kettle kettle文件上传2024-09-2336.kettle从入门到精通 第八十八课 ETL之kettle kettle连接sqlserver彻底搞明白2024-09-2637.kettle从入门到精通 第八十九课 ETL之kettle kettle jms activemq使用教程2024-09-2938.ETL之kettle 医疗行业高级陪伴群 第一课2024-11-1539.ETL之kettle 专业陪伴群，1元开启kettle精进之旅2024-11-1940.ETL之kettle版本安装包免费下载地址01-1041.kettle从入门到精通 第九十二课 ETL之kettle 使用Kettle的Carte对外发布读写接口02-1742.kettle调度管理系统XXK-PDI，kettle调度好帮手02-2443.kettle插件-自定义函数-数据脱敏03-0144.kettle插件-git/svn版本管理插件03-0345.kettle插件-高性能插入更新插件Upsert03-05

收起

 1、之前kettle cdc mysql的时候使用的方案是canal+kafka+kettle，今天我们一起学习下使用kettle的插件Debezium直接cdc mysql。

　注：CDC (Change Data Capture) 是一种技术，用于捕获和同步数据库中的更改。

1）Debezium步骤解析mysql binlog日志。

2）json input步骤解析json字符串。

3）switch-case 根据op字段进行路由。

4）create、delete、update、ddl是写日志步骤，模拟后续操作。

2、Debezium步骤配置如下（只输出dml），更多属性配置参考Debezium官网。如下图所示：

 3、switch-case配置如下，不做过多介绍。

 4、binlog解析之后的dml语句对应的json字符串结构

CREATE

{
    "ts_ms": 1718273338000,
    "db": "test",
    "table": "t1",
    "op": "CREATE",
    "after": "{\"id\":6,\"name\":\"金刚葫芦娃\",\"createtime\":1718297698000}",
    "pk": "{\"id\":6}"
}

UPDATE

{
    "ts_ms": 1718273345000,
    "db": "test",
    "table": "t1",
    "op": "UPDATE",
    "before": "{\"id\":6,\"name\":\"金刚葫芦娃\",\"createtime\":1718297698000}",
    "after": "{\"id\":6,\"name\":\"金刚葫芦娃plus\",\"createtime\":1718297698000}",
    "pk": "{\"id\":6}"
}

DELETE

{
    "ts_ms": 1718273369000,
    "db": "test",
    "table": "t1",
    "op": "DELETE",
    "before": "{\"id\":6,\"name\":\"金刚葫芦娃plus\",\"createtime\":1718297698000}",
    "pk": "{\"id\":6}"
}

 

5、Debezium步骤配置中设置ddl为true（输出dml和ddl），更多属性配置参考Debezium官网。如下图所示：

 6、binlog解析之后的ddl语句对应的json字符串结构

 

DROP TABLE

{
    "ts_ms": 1718274150072,
    "db": "test",
    "table": "t3",
    "op": "ddl",
    "sql": "DROP TABLE `test`.`t3`"
}

CREATE TABLE

{
    "ts_ms": 1718274165789,
    "db": "test",
    "table": "t3",
    "op": "ddl",
    "ddl_type": "CREATE",
    "sql": "CREATE TABLE `t3` (\n `id` bigint NOT NULL AUTO_INCREMENT,\n `name` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,\n `createtime` datetime DEFAULT NULL,\n PRIMARY KEY (`id`)\n ) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci"
}