代码改变世界

数据库同步

  古兆洋  阅读(25)  评论(0编辑  收藏  举报

刚开始使用分页的方式同步数据,id asc

到2000多万条之后,效率慢了。

总结:分页到最后,会越来越慢

通过请教大石头大佬,进行了优化

大数据同步,一般不用分页的方式,XCode里面是把分页抽取器放在最后的。每次抽取后,下一次用 where id>lastMaxId。

你可以参考XCode里面的集中抽取器,最好用的是雪花id抽取,其次时间,最后分页

采用这样的方式同步

select top 1000 * from Data
where id > 40934063
order by Id asc
Data表是历时数据表,不是业务中使用的真实的表。

总结:分页获取1000条,时间20秒左右,采用雪花id获取10 0000条,2.3秒

2.3太慢了,应该在100ms以内。10万叶大小太大,用一万或者五千

 

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· DeepSeek 开源周回顾「GitHub 热点速览」
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
历史上的今天:
2017-08-29 在程序中写日志的一点心得
点击右上角即可分享
微信分享提示