当我们在不同数据库迁移、同步数据时，首先要做的就是把库和表的结构在目标端创建出来。

当我们把数据库的结构 dump 出来之后，这个 DDL 在目标端大概率是无法直接运行的，至少数据类型在不同数据库之间就不相同，有的数据类型在目标端根本不存在，有的数据类型即使存在但存储精度、存储空间完全不一样，这给数据同步工作带来了很多困难。

这是一个很常见的需求，navicat 的 data transfer 功能就可以做到这一点。但如果想把这个功能集成在自研的产品中，很遗憾 navicat 并不开源。

这件事应该并不难，在异构数据源之间迁移数据，数据类型的映射是必不可少的，只要数据类型映射准确，DDL 转换应该就是正确的。说干就干，我决定自己实现一个 DDL 转换工具。

功能特性

• 目前支持 MySQL、Oracle、PostgreSQL 和 达梦 数据库之间的转换，当然同种类型数据库的转换也支持;

• 支持 98% 以上的数据类型映射（余下的 2% 是各数据库的特有类型，例如 MySQL 的 point/polygon/geo，在目标端找不到支持的类型）;

• 支持 column comment, default value 等 DDL 特性；

• 支持整库同步;

• 提供了一个灵活的架构，使得未来添加对新数据库的支持变得轻而易举;

转换效果

MySQL 到 Oracle 的转换效果：

MySQL 到 PostgreSQL 的转换效果：

PostgreSQL 到 MySQL 的转换效果：

使用方式

MySQL 到 Oracle 的转换例子：

DataBaseConnection mysqlConn = DataBaseConnection.builder()
        .jdbcUrl("jdbc:mysql://127.0.0.1:3306")
        .user("username")
        .password("password")
        .build();

DataBaseConnection oracleConn = DataBaseConnection.builder()
        .jdbcUrl("jdbc:oracle:thin:@127.0.0.1:1521/orcl")
        .user("username")
        .password("password")
        .build();

String createTableDDL = new Transformer(mysqlConn, oracleConn)
		.transformCreateTableDDL("cdc_test_source", ".*")    // .* 表示整库同步, 或配置具体表名
		.getTransformedCreateTableDDL();
System.out.println(createTableDDL);

MySQL 到 达梦 的转换例子：

DataBaseConnection mysqlConn = DataBaseConnection.builder()
        .jdbcUrl("jdbc:mysql://127.0.0.1:3306")
        .user("username")
        .password("password")
        .build();

DataBaseConnection damengConn = DataBaseConnection.builder()
        .jdbcUrl("jdbc:dm://127.0.0.1:5236")
        .user("username")
        .password("password")
        .build();

boolean result = new Transformer(mysqlConn, postgresqlConn)
        .transformCreateTableDDL("cdc_test_source", "test_table_1")
        .executeCreateTable();  // execute ddl

最关键的是数据类型映射，这里整理了每种数据库的关键数据类型的对应关系，数据类型较多，查阅资料并非都来自官网，难免有纰漏，欢迎留言指正。

MySQL

Oracle

PostgreSQL

DM

扩展方式

扩展方式也很灵活，按照以下步骤：

1. 先查阅数据库支持哪些数据类型，重点关注数据类型的精度、存储限制，以免在数据同步过程中出现精度损失。准备好数据类型的映射关系，文件命名：xxx2zzz.json，例如 MySQL2Hive.json;

2. 在 DataBaseType 类中新增支持的数据库类型：

   public enum DataBaseType {
       MYSQL("MySQL"), ORACLE("Oracle"), POSTGRESQL("PostgreSQL"), DAMENG("DM");
   }
   

3. 在 DataBaseConnection 类中新增对 jdbcUrl 的识别分类：

   /**
    * 从jdbcUrl中解析数据库类型
    * 
    * @param jdbcUrl
    * @return
    */
   private DataBaseType parseDataBaseTypeFromJdbcUrl(String jdbcUrl) {
       if (jdbcUrl.startsWith("jdbc:mysql")) {
           return DataBaseType.MYSQL;
       } else if (jdbcUrl.startsWith("jdbc:oracle")) {
           return DataBaseType.ORACLE;
       } else if (jdbcUrl.startsWith("jdbc:dm")) {
           return DataBaseType.DAMENG;
       } else if (jdbcUrl.startsWith("jdbc:postgresql")) {
           return DataBaseType.POSTGRESQL;
       } else {
           throw new IllegalArgumentException("Unsupported jdbc type for " + jdbcUrl);
       }
   }
   

4. 新增 BaseMetaDataFetcher 的扩展类 XxxMetaDataFetcher，如果新增数据库元数据信息获取方式有所区别，覆盖 BaseMetaDataFetcher 中的实现，参照 OracleMetaDataFetcher 类；

5. 新增 BaseDdlGenerator 的扩展类 XxxDdlGenerator，如果新增数据库的 DDL 语法有所区别，覆盖 BaseDdlGenerator 中的实现，参照 MySQLDdlGenerator 类；

写在最后

源码地址 https://github.com/redburning/database-ddl-transformer

如果大家使用过程中发现了问题，欢迎在 GitHub 上提 issue，提 issue 比给 star 更让我 appreciated！

大家如果还用过哪些趁手的数据同步工具，欢迎留言、讨论。