开源ETL工具kettle--数据迁移

背景

因为项目的需求，须要将数据从Oracle迁移到MSSQL，不是简单的数据复制，而是表结构和字段名都不一样。甚至须要处理编码规范不一致的情况，例如以下图所看到的

注意：Oracle和MSSQL中的同名表的字段名是不同样的

假设要是採用手工SQL语句操作的话会非常麻烦，须要考虑

Oracle和MSSQL SQL语法的差异
数据从抓取--转化--载入迁移的过程安排
字段的映射
外键的约束
目的表是否为空
等等很多问题

而这些问题对于kettle来说都不叫事，以下就为大家介绍怎样使用强大的kettle实现数据的迁移

实战

Kettle翻译成中文是“水壶”。这个名字非常形象。无论你向水壶其中加入了哪些液体或者可溶物质从壶嘴里面出来的都是均匀统一的液体。对于数据载入就是：无论数据源採用什么样的格式，Excel、datatable、纯文本或者是xml。kettle都能转化成统一的格式进行处理，而且可以更具用户的须要导出不同的格式

以下我们就用kettle来解决上述问题

首先介绍一下kettle的两个工作单元：transformation和job

transformation：实现数据的转化

job：对transformation依据依赖关系组织运行顺序，还能够对job的运行进行条件推断和预处理。用户还能够设置job的运行时间，比方每天的9:00開始运行job，这和持续构建中的job意思一样。