随笔分类 - DataX
摘要：背景 目前很多主流数据库支持on duplicate key update（当主键冲突update数据）模式，DataX也支持通过配置writeMode来配置写入模式。但是目前仅仅只支持MySQL的实现，这里以支持PostgreSQL介绍如何适配数据库on duplicate key update模
阅读全文
摘要：背景 DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，这里介绍通用RDBMS数据库如何进行自定义扩展注册进DataX。 需求：扩展SAP HANA数据源（其他数据源都可）相关的读写插件能够进行异构数据源的同步工作。 环境准备 从github上拉
阅读全文
摘要：前言 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和
阅读全文
