Kettle之数据同步(篇一)
之前的业务需求是实现数据的增量同步,具体描述为:新增数据插入,变化数据更新,我使用输出中的插入更新即可。
现在业务提出新的需求:除前面描述外,还要实现源表数据删除时,目标表数据同样删除。
虽然我极其不推荐这样做,原因有三:
(1)数据库不应该真正存在delete操作,如果确实要删除一条数据的话,理论上应该在数据库中设置标志位,执行update,不向前端业务显示,但数据仍存在数据库中,便于追溯和回退;
(2)ETL实现删除数据的操作,一旦出现问题,很难查找和解释原因,容易出现互相扯皮和推诿现象;
(3)我需要重新开发ETL。虽然个人难以接受,奈何业务需求是天,我也得硬着头皮去完成,之后可能发生的事情,只能“走一步看一步”,听天由命了。记录关键过程如下:
1.转换的核心对象共4个,包括2个输入、1个合并记录和1个数据同步
【表输入在输入中找:合并记录在链接中;数据同步在输出中】分别设置源数据和目标数据,其中记录数量限制为0就是全部同步。
2.合并记录设置,要注意旧数据源是要同步的数据,也就是目标数据;新数据是来源数据,也就是被同步的数据。标志字段随便起名即可(要符合命名规范)。匹配的关键字段最好是主键(唯一值勉强也行),数据字段是要同步的列(注意,一定要包括关键字段,否则目标数据该列就是空值,千万注意!!)。如下图:
3.合并完成后,标志字段的值有4种,分别是:
“Identical” : 关键字段在新旧数据源中都存在,且域值相同
“changed” : 关键字段在新旧数据源中都存在,但域值不同
“new” : 旧数据源中没有找到该关键字段
“deleted”: 新数据源中没有找到关键字段
则数据同步的配置需要注意以下几点:
(1) 不论是查询的关键字,还是更新字段,都要把标志字段去掉(注意,去掉标志字段!);其他字段根据业务需求,进行设置;
(2) 高级标签中的规则要定义好,否则会报“It was not possible to find operation field [null] in the input stream!”错误。
4.根据需要是定时操作,还是手工操作,如果定时的话,重新建个作业,设定开始相关的配置即可。
另外需要强调一下,如果源数据和目标数据字段不一样的话,来源数据可以用as来改变列名,并一定注意名称和列顺序一致。
posted on 2020-10-30 12:26 来到世界,到处看看 阅读(1810) 评论(0) 编辑 收藏 举报