MySQL 垂直拆分和水平拆分

转自:https://zhuanlan.zhihu.com/p/51588054

 

一、垂直拆分

1. 第一种 根据表的业务

把不同业务的数据库表放在不同的数据库服务器上,例如:把产品表和用户表放到一个server上,订单表单独放到一个server上。

解决问题:表与表之间的io竞争。

不解决问题:单表中数据量增长出现的压力。

 

2. 第二种 根据列

垂直拆分是指数据表列的拆分,把一张列比较多的表拆分为多张表

 

通常我们按以下原则进行垂直拆分:

  1. 把不常用的字段单独放在一张表;
  2. 把text,blob等大字段拆分出来放在附表中;
  3. 经常组合查询的列放在一张表中;

垂直拆分更多时候就应该在数据表设计之初就执行的步骤,然后查询的时候用join关键起来即可;

 

二、水平拆分

水平拆分是指数据表行的拆分,表的行数超过200万行时,就会变慢,这时可以把一张的表的数据拆成多张表来存放

 

水平拆分的一些技巧

1. 拆分原则

通常情况下,我们使用取模的方式来进行表的拆分;比如一张有400W的用户表users,为提高其查询效率我们把其分成4张表users1,users2,users3,users4

通过用ID取模的方法把数据分散到四张表内Id%4+1 = [1,2,3,4]

然后查询,更新,删除也是通过取模的方法来查询

1 $_GET['id'] = 17,
2 
3 17%4 + 1 = 2,
4 
5 $tableName = 'users'.'2'
6 
7 Select * from users2 where id = 17;

在insert时还需要一张临时表uid_temp来提供自增的ID,该表的唯一用处就是提供自增的ID;

insert into uid_temp values(null);

得到自增的ID后,又通过取模法进行分表插入;

注意,进行水平拆分后的表,字段的列和类型和原表应该是相同的,但是要记得去掉auto_increment自增长

另外

部分业务逻辑也可以通过地区,年份等字段来进行归档拆分;

进行拆分后的表,只能满足部分查询的高效查询需求,这时我们就要在产品策划上,从界面上约束用户查询行为。比如我们是按年来进行归档拆分的,这个时候在页面设计上就约束用户必须要先选择年,然后才能进行查询;

在做分析或者统计时,由于是自己人的需求,多点等待其实是没关系的,并且并发很低,这个时候可以用union把所有表都组合成一张视图来进行查询,然后再进行查询;

 

Create view users as select from users1 union select from users2 union.........

 

MySQL垂直切分和水平切分概念和优缺点介绍

数据的切分(Sharding)根据其切分规则的类型,可以分为两种切分模式。一种是按照不同的表(或者Schema)来切分到不同的数据库(主机)之上,这种切可以称之为数据的垂直(纵向)切分;另外一种则是根据表中的数据的逻辑关系,将同一个表中的

数据按照某种条件拆分到多台数据库(主机)上面,这种切分称之为数据的水平(横向)切分。

垂直切分

一个数据库由很多表的构成,每个表对应着不同的业务,垂直切分是指按照业务将表进行分类,分布到不同的数据库上面,这样也就将数据或者说压力分担到不同的库上面, 如下图:

 

垂直切分的优缺点介绍:

优点:

  1. 拆分后业务清晰,拆分规则明确。
  2. 系统之间整合或扩展容易。
  3. 数据维护简单。

 

缺点:

  1. 部分业务表无法join,只能通过接口方式解决,提高了系统复杂度。
  2. 受每种业务不同的限制存在单库性能瓶颈,不易数据扩展跟性能提高。
  3. 事务处理复杂。

由于垂直切分是按照业务的分类将表分散到不同的库,所以有些业务表会过于庞大,存在单库读写与存储瓶颈,所以就需要水平拆分来做解决。

 

水平切分

相对于垂直拆分,水平拆分不是将表做分类,而是按照某个字段的某种规则来分散到多个库之中,每个表中包含一部分数据。简单来说,我们可以将数据的水平切分理解为是按照数据行的切分,就是将表中的某些行切分到一个数据库,而另外的某些行又切

分到其他的数据库中,如下图:

 

水平切分的优缺点介绍:

优点:

  1. 拆分规则抽象好,join操作基本可以数据库做。
  2. 不存在单库大数据,高并发的性能瓶颈。
  3. 应用端改造较少。
  4. 提高了系统的稳定性跟负载能力。

缺点:

  1. 拆分规则难以抽象。
  2. 分片事务一致性难以解决。
  3. 数据多次扩展难度跟维护量极大。
  4. 跨库join性能较差。

 

垂直切分和水平切分共同的特点和缺点有:

  1. 引入分布式事务的问题。
  2. 跨节点Join的问题。
  3. 跨节点合并排序分页问题。
  4. 多数据源管理问题。
posted @ 2020-12-19 09:08  九鹤  阅读(334)  评论(0编辑  收藏  举报