MySQL大表拆分多个表的方式(横向拆分和纵向拆分)及如何解决跨表查询效率问题
大表分表后每个表的结构相同,可以用sql的union。比如a,b表结构相同可以通过union来联接
select * from a
union all
select * from b
where ...
一、Union和Union All到底有什么区别
Union:对两个结果集进行并集操作,不包括重复行,同时进行默认规则的排序;
Union All:对两个结果集进行并集操作,包括重复行,不进行排序;
比如一家公司在中美均有雇员,我们使用Union这个命令想查出中美所有雇员,是不行的。假如我们有两个名字相同的雇员,他们当中就只会有一个人被列出来了。UNION 命令只会选取不同的值。而Union All则可以查出全部的值。
详细了解:https://www.w3school.com.cn/sql/sql_union.asp
二、大表拆分后的查询效率问题
假如一个超级大的用户表按照数据拆分成10个表后,某个用户登录的时候是不是要从10个表里面去查询这个用户的用户名和密码是否正确。这样就存在效率问题。
一种方案就是拆表的时候,按照一定规则来拆表,查询的时候按照这个规则来查,通过规则就能知道到底该去哪个表查,如果胡乱拆表,那一个表和10个表有什么区别。
三、大表拆分
表的拆分分为横向拆分(记录的拆分)和纵向拆分(字段的拆分)。拆分表的目的:提高查询速度。
(1)横向拆分 - 记录的拆分
我们从一个案例去解释,情景是这样的:某某博客,有50W的博客量,有2w的用户,发现随着用户和博客数的增加,查询速度日渐下降,现在要对博客表blog与用户表user进行优化。
表结构如下:
create table blog(
bid
title
content
pubtime
uid
) 50万
create table user(
uid
username
password
nick
......
) 2万
首先我们要决定根据哪个字段对记录进行拆分,查询决定了拆分,在这里我们根据uid字段对两个表进行拆分是比较合理的。
博客表根据uid去拆分:
1-5000------blog_1
5001-10000-----blog_2
10001-15000----blog_3
15001-20000----blog_4
人员表根据uid 等分:
1-5000------user_1
5001-10000-----user_2
10001-15000----user_3
15001-20000----user_4
比如查询某人的博客:
// 根据uid确认表名:
$num=ceil(12345/5000);
select uid,bid,title,pubtime from blog_$num where uid=12345;
(2)纵向拆分:字段的拆分 - 把活跃字段(常用)、惰性字段(不常用)分开。
案例:比如人员表,活跃字段像用户名、密码、昵称等,惰性字段像手机号、邮箱、性别等不经常使用和修改的字段。
一张完整的用户表可以拆分为两张表,如下:
create table user(
uid int key auto_increment,
username char(20),
password char(32) not null,
nick char(10)
);
create table user_ext(
uid
regtime
name
email
qq
phone
sex
)
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 单元测试从入门到精通
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律
2018-05-09 Node.js:模块系统、函数
2018-05-09 ElementUI表单验证使用