随笔分类 - sync_database
sync_database
摘要:flink-cdc flink-cdc 概述 flink-cdc 文档地址:https://ververica.github.io/flink-cdc-connectors/master/content/about.html# 依赖 <dependency> <groupId>io.netty</g
阅读全文
摘要:DeBezium DeBezium简介 DeBezium:功能远远强大与canal、maxwell。构建与kafka之上。 优点:1.处理大容量的数据 2.监控多种数据库:mysql、MongoDB、PostgreSQL、 SQL Server。canal、maxwell限于(mysql) 方式一:
阅读全文
摘要:Maxwell Maxwell介绍 Maxwell:实时读取mysql的Binlog,生成json格式的消息,发送给kafka、redis等 下载地址:https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.
阅读全文
摘要:Canal Canal介绍 功能:通过读取Mysql的Binlog,实时采集数据库数据的变化写到消息队列。 原理:将自己伪装成Slave,假装从Master复制数据 使用场景:1.异地数据库之间的同步 2.更新缓存,读取主库更新,在缓存服务器中更新 3.实时更新 文档地址:https://githu
阅读全文
摘要:datax概述 datax定位:离线同步工具 datax优势: 1.单进程多线程,单机压力大 2.理论上可以打满带宽 链接 文档链接:https://github.com/alibaba/DataX 下载地址:https://datax-opensource.oss-cn-hangzhou.aliy
阅读全文