数据库同步
2023-08-29 14:04 古兆洋 阅读(13) 评论(0) 编辑 收藏 举报刚开始使用分页的方式同步数据,id asc
到2000多万条之后,效率慢了。
总结:分页到最后,会越来越慢
通过请教大石头大佬,进行了优化
大数据同步,一般不用分页的方式,XCode里面是把分页抽取器放在最后的。每次抽取后,下一次用 where id>lastMaxId。
你可以参考XCode里面的集中抽取器,最好用的是雪花id抽取,其次时间,最后分页
采用这样的方式同步
select top 1000 * from Data
where id > 40934063
order by Id asc
Data表是历时数据表,不是业务中使用的真实的表。
总结:分页获取1000条,时间20秒左右,采用雪花id获取10 0000条,2.3秒
2.3太慢了,应该在100ms以内。10万叶大小太大,用一万或者五千