2017年5月19日
ETL全量多表同步简述
摘要： ETL全量多表同步简述 1. 实现需求 当原数据库的表有新增、更新、删除操作时，将改动数据同步到目标库对应的数据表。 2. 设计思路 设计总体流程图如下： 1、获取同步表名如下图： 2、循环迁移数据如下图： 3、循环迁移数据的数据处理如下图： 2.1. 软件安装 1、Jdk 2、Kettle同步工具 阅读全文
posted @ 2017-05-19 17:24 迢迢 阅读(1221) 评论(0) 推荐(0) 编辑
ETL全量单表同步简述
摘要： ETL全量单表同步简述 1. 实现需求 当原数据库的表有新增、更新、删除操作时，将改动数据同步到目标库对应的数据表。 2. 设计思路 设计总体流程图如下： 注意点： 1、数据库合并时，选择正确的数据源。 2、不要选“简易转换”。 2.1. 软件安装 1、Jdk 2、Kettle同步工具 说明： ke 阅读全文
posted @ 2017-05-19 17:14 迢迢 阅读(1033) 评论(0) 推荐(0) 编辑
ETL增量单表同步简述_根据timestamp增量
摘要： ETL增量单表同步简述 1. 实现需求 当原数据库的表有新增、更新、删除操作时，将改动数据同步到目标库对应的数据表。 2. 设计思路 设计总体流程图如下： 步骤简单说明： 1、设置job的执行属性，如下图： 2、根据要同步的表名，更新同步配置表synConfig的endTime。 3、根据begin 阅读全文
posted @ 2017-05-19 17:11 迢迢 阅读(1019) 评论(0) 推荐(0) 编辑
ETL增量单表同步简述_根据dateTime增量
摘要： ETL增量单表同步简述 1. 实现需求 当原数据库的表有新增、更新、删除操作时，将改动数据同步到目标库对应的数据表。 2. 设计思路 设计总体流程图如下： 步骤简单说明： 1、设置job的执行属性，如下图： 2、根据要同步的表名，更新同步配置表synConfig的endTime。 3、获取同步时间段 阅读全文
posted @ 2017-05-19 17:06 迢迢 阅读(588) 评论(0) 推荐(0) 编辑