多库多表大数据查询讨论
求问大神 1000张结构相同的表 分布在10个数据库每个数据库100张表每张表100w条数据,有什么高效的查询方法
不做跨库join什么都好
现在要跨裤啊
在分库分表的时候 肯定有规律吧
恩
有规律
从第一个库的第一张表第一条数据是标号是0000001
你要查询多少出来
现在要查找某一条数据呢
某一条 的条件是什么呢
能根据条件找到哪个库 哪张表吗
根据条件判断应该在哪个服务器,哪个库,哪个表,然后select……where
你们肯定有分服务器,分库,分表策略。查数据需要与当初的拆分存储策略相结合
如果不知道分库分表策略,就像在京东的100个仓库中找到一个金士顿内存条一样,高效方法仓储管理部知道。
看来设计多库多表时,要考虑怎么存进去和怎么查出来的问题啊。
这个是需要深入分析,仔细研究规划的问题。
------------------
201807191659更新
假如分库分表时考虑不充分,那么可以写一个程序,根据不同策略,统计各个库的数据分布情况,然后存入到索引库。
然后以后查询时,可以根据插叙条件到索引库确定范围后,再去具体的库查询数据。
比如;按照名字统计各个库首字母为李的数据;
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
2016-04-19 通过计算蒜的价格反应物价水平