kettle教程---通过配置表格配置实现数据的批量增量更新（实用）

附：Kettle实战视频教程，需要的朋友可以看看学习下哈~~

• kettle实战第一讲-文件和数据库表的互相转换处理_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
• kettle实战第二讲-数据库单表的全量同步_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
• kettle实战第三讲-数据库单表的增量同步_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
• kettle实战第四讲-同步错误原因记录到数据库日志表_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
• kettle实战第五讲-多个数据库表融合到一个数据库业务表_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
• kettle实战第六讲-比较不同的数据库表进行数据的一致性处理_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
• kettle实战第七讲-通过配置文件做表的全量同步，一个作业统统搞定_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
• kettle实战第八讲-通过配置文件做数据表的增量同步，一个作业统统搞定_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
• kettle实战第九讲-通过配置文件做表的全量同步_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
• kettle实战第十讲-windows下的kettle作业调度_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
• kettle实战第十一讲-Linux下的kettle作业调度_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili

本文接上篇文章，上面文章讲的是，通过配置文件的全量更新，现在说下增量更新

 

 

如上图所示，涉及到1个转换和1个作业。

1-表增量同步（转换）

 

可以通过读取同步表参数这个excel表格文件，获取表名称和同步的依赖对象（本文就是cjsj创建时间），同步成功后复制记录到结果

2-增量数据同步（作业）

 

 

 

 

 

 

 

 我们右键点开如上图，包含了7个转换组成。

1）表数据同步设置（转换）

 

 

获取上个转换的记录，放到设置变量中。

2）表数据同步设置2（转换）

 

 

 

获取时间变量放入设置变量中

3）获取查询条件 （转换）

 

 

 

 3.1）点开获取查询条件，写入查询条件，放入设置变量中

 

 

 

4）删除目标原始数据（转换）

删除目标库的原始数据，如下图，删除重复的数据

 

 

 

 

5）待插入数据同步（转换），转换点开后，如下图，显示了获取cjsj创建时间在日志表之后的数据，插入新表

 

 

 

 

 

6）保存同步日志(转换）

 

 写入日志表。

这样就完成了表数据的增量更新，通过配置文件来配置相应的表数据，一个专业可以完成全量和增量的所有表的更新。

 

通过添加excel表的表名，实现一个调度任务，完成所有表的同步

---

注意：因某些限制，最新源代码和后续通用配置实现数据抽取 已放置在笔者公众号上，请关注微信公众号: 【JAVA大师】, 回复关键字：【KETTLE】，获取kettle安装程序和运行实例（表结构和kjb、ktr文件）。

同时笔者原创了一套视频教程：现免费发放100套，先到先得。获得方法：扫描下方二维码，关注获得