Kettle之数据同步(篇一)

之前的业务需求是实现数据的增量同步，具体描述为：新增数据插入，变化数据更新，我使用输出中的插入更新即可。

现在业务提出新的需求：除前面描述外，还要实现源表数据删除时，目标表数据同样删除。
      虽然我极其不推荐这样做，原因有三：
            (1)数据库不应该真正存在delete操作，如果确实要删除一条数据的话，理论上应该在数据库中设置标志位，执行update，不向前端业务显示，但数据仍存在数据库中，便于追溯和回退；
            (2)ETL实现删除数据的操作，一旦出现问题，很难查找和解释原因,容易出现互相扯皮和推诿现象；
            (3)我需要重新开发ETL。虽然个人难以接受，奈何业务需求是天，我也得硬着头皮去完成，之后可能发生的事情，只能“走一步看一步”，听天由命了。记录关键过程如下：

1.转换的核心对象共4个，包括2个输入、1个合并记录和1个数据同步

【表输入在输入中找：合并记录在链接中；数据同步在输出中】分别设置源数据和目标数据，其中记录数量限制为0就是全部同步。
       

2.合并记录设置，要注意旧数据源是要同步的数据，也就是目标数据；新数据是来源数据，也就是被同步的数据。标志字段随便起名即可（要符合命名规范）。匹配的关键字段最好是主键（唯一值勉强也行），数据字段是要同步的列（注意，一定要包括关键字段，否则目标数据该列就是空值，千万注意！！）。如下图：

3.合并完成后，标志字段的值有4种，分别是：

“Identical” : 关键字段在新旧数据源中都存在，且域值相同

“changed” : 关键字段在新旧数据源中都存在，但域值不同

“new” :  旧数据源中没有找到该关键字段

“deleted”:  新数据源中没有找到关键字段

则数据同步的配置需要注意以下几点：

(1)  不论是查询的关键字，还是更新字段，都要把标志字段去掉（注意，去掉标志字段！）；其他字段根据业务需求，进行设置；

(2)  高级标签中的规则要定义好，否则会报“It was not possible to find operation field [null] in the input stream!”错误。

 

4.根据需要是定时操作，还是手工操作，如果定时的话，重新建个作业，设定开始相关的配置即可。

另外需要强调一下，如果源数据和目标数据字段不一样的话，来源数据可以用as来改变列名，并一定注意名称和列顺序一致。