mysql在海量数据时的处理方案

1.分区

2.缓存

3.一主多从分离读多写少的压力

4.写的压力：分库分表

4.1分分表

水平切分：

数据库的垂直切分：按照 表功能和数据关联密切程度；表太多造成的海量数据考虑按业务逻辑划分；能缓解数据量和访问量造成的问题但不能根治；

表的垂直切分：可以分到多库中，不遵守范式

表的水平切分：解决单表数据量太大的问题、提高了稳定性和负载能力、应用端改造少

 

无论那种切分缺点都有分布式事务、节点join、跨节点合并排序分页、多数据源管理问题

 

5.中间件

1.作用：解析sql、读写分离、从库读的负载均衡、支持分库分表操作、支持垮裤关联、支持事务、主键ID生成、多数据源管理

2.类型：客户端模式(sharding-jdbc TDDL)、服务端代理模式(mycat cobar atlas heinsberge vitess kingshard)

 

6.分片优点

1.减少增量数据写入时的锁对查询的影响，减少长时间查询造成的表锁、锁竞争、排队时间开支

2.单表查询的基数变小、io减少、时延变短

 

 

7.实际粒度的掌控

业务紧密程度和表的数据量

7.1 表关系紧密且数据量不大、增速缓慢，则放在一起，无需水平切分；

7.2若划归到一起的表增速迅猛 则需要分库再分表

垂直分表：按照业务功能的使用频次，分成主次表

 

 

8.拆分原则

8.1能不拆就不拆

8.2提前规划好切分规则

8.3通过数据冗余或表分组来降低跨库join的可能

8.4数据库中间件对join的高性能操作实现难度大，所以尽量少用join