数据库同步
2023-08-29 14:04 古兆洋 阅读(25) 评论(0) 编辑 收藏 举报刚开始使用分页的方式同步数据,id asc
到2000多万条之后,效率慢了。
总结:分页到最后,会越来越慢
通过请教大石头大佬,进行了优化
大数据同步,一般不用分页的方式,XCode里面是把分页抽取器放在最后的。每次抽取后,下一次用 where id>lastMaxId。
你可以参考XCode里面的集中抽取器,最好用的是雪花id抽取,其次时间,最后分页
采用这样的方式同步
select top 1000 * from Data
where id > 40934063
order by Id asc
Data表是历时数据表,不是业务中使用的真实的表。
总结:分页获取1000条,时间20秒左右,采用雪花id获取10 0000条,2.3秒
2.3太慢了,应该在100ms以内。10万叶大小太大,用一万或者五千
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· DeepSeek 开源周回顾「GitHub 热点速览」
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
2017-08-29 在程序中写日志的一点心得