关注清哥聊技术公众号,了解更多技术文章,作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。

Kettle根据时间戳同步数据实现

1 Kettle总体步骤

更多数据实时同步方案,请参考笔者的另一篇博文:大数据时代,数据实时同步解决方案的思考—最全的数据同步总结

由于Kettle自身的特殊性以及在多个步骤中kettle自身处理数据库事务的特殊性,尝试了很多种方案,最终确定暂使用如下方案。

1、使用此方案可以解决kettle本身数据库事务的缺点

2、使用此方案可以解决支队多个表中同时往一张总表中同步数据时,取时间戳不准的问题。

3、配置时,每个支队的数据汇聚时,都单独配置一个转换作业任务。

4、Kettle支持字段映射,转换,以及作业定时运行等。

2 Kettle配置实现

A)清空临时表

 

B)读取交换时间

 

C)读取需要交换的数据

 

D)更新到临时表

 

E)插入更新到目标表

 

F)更新时间

 

3 Kettle配置风险

1、单次同步数据量大时,由于需要同时更新两次表,效率可能会比较低

2、如果采用单次限制数据记录量,由于Kettle本身不支持数据分页,当数据表如果存在大量数据记录的时间戳都相同时,可能会导致部分数据无法同步过来。

【原文归作者所有,欢迎转载,但是保留版权】

posted @ 2017-08-14 22:54  张永清  阅读(13793)  评论(0编辑  收藏  举报
关注清哥聊技术公众号,了解更多技术文章,作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。