代码改变世界

数据库同步

2023-08-29 14:04  古兆洋  阅读(13)  评论(0编辑  收藏  举报

刚开始使用分页的方式同步数据,id asc

到2000多万条之后,效率慢了。

总结:分页到最后,会越来越慢

通过请教大石头大佬,进行了优化

大数据同步,一般不用分页的方式,XCode里面是把分页抽取器放在最后的。每次抽取后,下一次用 where id>lastMaxId。

你可以参考XCode里面的集中抽取器,最好用的是雪花id抽取,其次时间,最后分页

采用这样的方式同步

select top 1000 * from Data
where id > 40934063
order by Id asc
Data表是历时数据表,不是业务中使用的真实的表。

总结:分页获取1000条,时间20秒左右,采用雪花id获取10 0000条,2.3秒

2.3太慢了,应该在100ms以内。10万叶大小太大,用一万或者五千