数据同步

1,DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

      https://github.com/alibaba/DataX

      https://github.com/alibaba/DataX/blob/master/introduction.md

2,阿里巴巴mysql数据库binlog的增量订阅&消费组件 。阿里云DRDS( https://www.aliyun.com/product/drds )、阿里巴巴TDDL 二级索引、小表复制powerd by canal.

      https://github.com/alibaba/canal

      https://github.com/alibaba/canal/wiki/QuickStart

3,otter是阿里的开源数据同步项目

  https://www.cnblogs.com/changbo/p/6197688.html

       https://yq.aliyun.com/articles/58388?spm=5176.100239.blogcont58420.18.Hof0oq

       https://www.cnblogs.com/Inspire-Yi/p/8094325.html

4,阿里巴巴去Oracle数据迁移同步工具(全量+增量,目标支持MySQL/DRDS)

      https://github.com/alibaba/yugong

5,数据传输服务DTS

      数据传输(Data Transmission)是阿里云提供的一种支持RDBMS(关系型数据库)、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。

      通过数据传输可实现不停服数据迁移、数据异地灾备、跨境数据同步、缓存更新策略等多种业务应用场景,助您构建安全、可扩展、高可用的数据架构。

   https://help.aliyun.com/product/26590.html?spm=a2c4g.11186623.3.1.Ydp6Z6

 

posted @ 2018-08-02 10:39  wanhua.wu  阅读(453)  评论(0编辑  收藏  举报