摘要:
前面两篇文章已经介绍了DataX的基本信息及插件开发,接下来就该介绍下如何将开发的程序打包运行起来。 开发手册里面已经说明了DataX源码编译使用assembly打包,打包命令如下: mvn clean package -DskipTests assembly:assembly 所以pom.xml内 阅读全文
摘要:
DataX为什么采用插件机制? 从设计之初,DataX就把异构数据源同步作为自身的使命,为了应对不同数据源的差异、同时提供一致的同步原语和扩展能力,DataX自然而然地采用了框架 + 插件 的模式: 插件只需关心数据的读取或者写入本身。 而同步的共性问题,比如:类型转换、性能、统计,则交由框架来处理 阅读全文
摘要:
what IS DataX ? DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 DataX本身作为数据同步框架, 阅读全文