摘要：转载：https://zhuanlan.zhihu.com/p/104352273 0. 前言 本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间 阅读全文

摘要：链接oracle数据库时，要注意自己数据的连接参数，下边代码中的高亮部分作为参考 { "job": { "setting": { "speed": { "channel": 3, "byte": 1048576 }, "errorLimit": { "record": 0, "percentage" 阅读全文

摘要：一、根据日期进行增量数据抽取 1.页面任务配置 打开菜单任务管理页面，选择添加任务 按下图中5个步骤进行配置 1.任务类型选DataX任务 2.辅助参数选择时间自增 3.增量开始时间选择，即sql中查询时间的开始时间，用户使用此选项方便第一次的全量同步。第一次同步完成后，该时间被更新为上一次的任务触 阅读全文

摘要：1：安装Oracle数据库，安装时类型选择共享服务器，不要选专享服务器。 2：确定Oracle,Navicat，OracleClient的位数，确保你的oracle数据库的位数与navicat位数一致，即：32v32,64v64 3：http://www.oracle.com/technetwork 阅读全文