Fork me on GitHub
摘要: 前面两篇文章已经介绍了DataX的基本信息及插件开发,接下来就该介绍下如何将开发的程序打包运行起来。 开发手册里面已经说明了DataX源码编译使用assembly打包,打包命令如下: mvn clean package -DskipTests assembly:assembly 所以pom.xml内 阅读全文
posted @ 2022-04-21 16:55 JackpotHan 阅读(1700) 评论(0) 推荐(0) 编辑
摘要: DataX为什么采用插件机制? 从设计之初,DataX就把异构数据源同步作为自身的使命,为了应对不同数据源的差异、同时提供一致的同步原语和扩展能力,DataX自然而然地采用了框架 + 插件 的模式: 插件只需关心数据的读取或者写入本身。 而同步的共性问题,比如:类型转换、性能、统计,则交由框架来处理 阅读全文
posted @ 2022-04-21 16:19 JackpotHan 阅读(2023) 评论(0) 推荐(1) 编辑
摘要: what IS DataX ? DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 DataX本身作为数据同步框架, 阅读全文
posted @ 2022-04-21 11:36 JackpotHan 阅读(512) 评论(0) 推荐(0) 编辑