数据同步迁移工具

mongo的迁移

使用mongoshake实现mongo的单向迁移。

MongoShake是一个以golang语言进行编写的通用的平台型服务,通过读取MongoDB集群的Oplog操作日志,对MongoDB的数据进行复制,后续通过操作日志实现特定需求。日志可以提供很多场景化的应用,为此,我们在设计时就考虑了把MongoShake做成通用的平台型服务。通过操作日志,我们提供日志数据订阅消费PUB/SUB功能,可通过SDK、Kafka、MetaQ等方式灵活对接以适应不同场景(如日志订阅、数据中心同步、Cache异步淘汰等)。集群数据同步是其中核心应用场景,通过抓取oplog后进行回放达到同步目的,实现灾备和多活的业务场景。

MongoShake基于MongoDB的跨数据中心的数据复制平台

MySQL强一致性

Percona XtraDB Cluster(简称PXC),是由percona公司推出的mysql集群解决方案。特点是每个节点都能进行读写,且都保存全量的数据。也就是说在任何一个节点进行写入操作,都会同步给其它所有节点写入到自己的磁盘。这点跟Oracle Rac有本质的区别,Rac是多个节点连同一个共享存储,假如Oracle的共享存储挂了,整个集群就挂了。而Mysql pxc中任何一台机器挂了,集群照常运转,因为节点间并不共享磁盘。

mysql pxc集群 原理 (图解+秒懂+史上最全)

也可以使用keepalived创建高可用mysql集群:实战搭建MySQL高可用架构,手残党表示都会了!

网络代理Nginx的高可用

其实就是keepalived的原理: nginx keepalive 高可用 原理和实操 (图解+秒懂+史上最全)

Minio高可用架构

minio高可用 架构与实操(图解+秒懂+史上最全)

es高可用

elasticsearch高可用 HA原理 (图解+秒懂+史上最全)

canal高可用架构

高可用 Canal集群( 秒懂 + 史上最全)

nacos高可用

nacos高可用(图解+秒懂+史上最全)

RocketMQ高可用

rocketMQ高可用 (图解+秒懂+史上最全)

更多资料

疯狂创客圈总目录

posted @   月下寒刀  阅读(47)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 从HTTP原因短语缺失研究HTTP/2和HTTP/3的设计差异
· 三行代码完成国际化适配,妙~啊~
点击右上角即可分享
微信分享提示