数据全量抽取与增量抽取

一：数据抽取介绍

　　数据抽取，是指从源数据系统抽取数据到目标数据源系统。

　　数据抽取分为全量抽取和增量抽取。

二：全量抽取

 　   将数据源中的表或视图原封不动的从数据库中抽取到目标系统。

三：增量抽取

　　捕获变化数据，仅对自上次导出之后变化数据（增、删、改）进行抽取。

　　对捕获方法有两点要求----1：准确    2：不要对业务系统造成太大压力

四：捕获方法大全

　　a：触发器捕获（又称快照式捕获）

　　介绍：源表增加捕获变化数据（增、删、改）触发器，变化数据录入临时表，目标系统从临时表抽取数据，抽取后做标记或删除。

　　优点：自动化程度高

　　缺点：对源系统性能有一定影响，不建议频繁使用。

　　b：增加时间戳

　　介绍：源表增加时间戳字段，数据变化后更新时间戳值，抽取时判断通过判断时间戳值决定抽取的记录。

　　更新时间戳值方式---1：自动更新（基于快照实现）  2：手动更新（业务人员干预）

　　优点：性能优化，抽取思路清晰

　　缺点：对业务系统倾入性较大

　　c：全表删除插入方式

　　介绍：抽取时删除目标表，源表全表重新导入。

　　优点：抽取规则简单

　　缺点：维表加外键不适合