MySQL大表拆分多个表的方式(横向拆分和纵向拆分)及如何解决跨表查询效率问题

  大表分表后每个表的结构相同,可以用sql的union。比如a,b表结构相同可以通过union来联接

select * from a
union all
select * from b
where ...

一、Union和Union All到底有什么区别

  Union:对两个结果集进行并集操作,不包括重复行,同时进行默认规则的排序

  Union All:对两个结果集进行并集操作,包括重复行,不进行排序

  比如一家公司在中美均有雇员,我们使用Union这个命令想查出中美所有雇员,是不行的。假如我们有两个名字相同的雇员,他们当中就只会有一个人被列出来了。UNION 命令只会选取不同的值。而Union All则可以查出全部的值

  详细了解:https://www.w3school.com.cn/sql/sql_union.asp

二、大表拆分后的查询效率问题

  假如一个超级大的用户表按照数据拆分成10个表后,某个用户登录的时候是不是要从10个表里面去查询这个用户的用户名和密码是否正确。这样就存在效率问题。

  一种方案就是拆表的时候,按照一定规则来拆表,查询的时候按照这个规则来查通过规则就能知道到底该去哪个表查,如果胡乱拆表,那一个表和10个表有什么区别。

三、大表拆分

  表的拆分分为横向拆分(记录的拆分)和纵向拆分(字段的拆分)。拆分表的目的:提高查询速度。

(1)横向拆分 - 记录的拆分

  我们从一个案例去解释,情景是这样的:某某博客,有50W的博客量,有2w的用户,发现随着用户和博客数的增加,查询速度日渐下降,现在要对博客表blog与用户表user进行优化。

  表结构如下:

create table blog(
        bid
        title
        content
        pubtime
        uid
    ) 50万
create table user(
        uid
        username
        password
        nick
        ......
    )  2万

  首先我们要决定根据哪个字段对记录进行拆分,查询决定了拆分,在这里我们根据uid字段对两个表进行拆分是比较合理的。

博客表根据uid去拆分:
    1-5000------blog_1
    5001-10000-----blog_2
    10001-15000----blog_3
    15001-20000----blog_4
人员表根据uid 等分:
    1-5000------user_1
    5001-10000-----user_2
    10001-15000----user_3
    15001-20000----user_4

  比如查询某人的博客:

// 根据uid确认表名:
     $num=ceil(12345/5000);
     select uid,bid,title,pubtime from blog_$num where uid=12345

(2)纵向拆分:字段的拆分 - 把活跃字段(常用)、惰性字段(不常用)分开

  案例:比如人员表,活跃字段像用户名、密码、昵称等,惰性字段像手机号、邮箱、性别等不经常使用和修改的字段。

  一张完整的用户表可以拆分为两张表,如下:

create table user(
    uid int key auto_increment,
    username char(20),
    password char(32) not null, 
    nick char(10)
);
create table user_ext(
    uid
    regtime
    name
    email
    qq
    phone
    sex    
)

 

posted @ 2020-05-09 13:56  古兰精  阅读(8508)  评论(0编辑  收藏  举报