mongodb-to-mongodb

python3用于mongodb数据库之间倒数据,特别是分片和非分片之间。

本项目是一个集合一个集合的倒.

参考了logstash,对于只增不减而且不修改的数据的可以一直同步,阻塞同步,断点同步。改进的地方就是:

1、单线程改成了可以控制线程数量的多线程,可以更快速的同步。

2、增加了更为详细的日志,解决多线程情况下如果程序出错,可以定位断点,然后从断点同步。

3、解决了第一条丢失的问题。

4、"_id"保持ObjectId。

项目地址:https://github.com/xuyingzhong/mongodb-to-mongodb

posted on 2018-11-15 11:16  徐应钟  阅读(129)  评论(0编辑  收藏  举报

导航