数据库设计注意事项
必知
一个项目开发最好一开始考虑好所有实体和属性,开发进度越往后增改的代价越高。
另外,如果一个表属性太多,建议拆分成多个表。
tips:
以下整理的最佳实践适用于并发量大,数据量大的典型互联网业务
(Java开发Web后端,难点其实就是并发处理)
一、基础规范
- 表存储引擎,必须使用InnoDB(MySql5.5.5之后默认的存储引擎就是InnoDB引擎)
- 表字符集,默认使用utf8,必要时候使用utf8mb4(一般使用后者)
解读:
(1)InnoDB是MySql数据库的存储引擎之一,通用,无乱码风险,汉字默认3字节,英文默认1字节
(2)utf8mb4是utf8的超集,假如需要存储4字节例如表情符号时使用
- 禁止使用存储过程(procedure),视图(view),触发器(trigger),Event
- 表字符集,默认使用utf8,必要时候使用utf8mb4(一般使用后者)
解读:
(1)InnoDB是MySql数据库的存储引擎之一,通用,无乱码风险,汉字默认3字节,英文默认1字节
(2)utf8mb4是utf8的超集,假如需要存储4字节例如表情符号时使用
- 禁止使用存储过程(procedure),视图(view),触发器(trigger),Event
(2)对数据库性能影响会较大,互联网业务能让站点层和服务层干的事情,不要交到数据库层
(3)调试,排错,迁移都比较困难,扩展性较差
(3)调试,排错,迁移都比较困难,扩展性较差
- 禁止在数据库中存储大文件,例如图片,可以将大文件存储在对象存储系统(也可以直接放后台服务器),数据库中则存储路径
- 禁止在线上环境做数据库压力测试
- 测试,开发,线上数据库环境必须隔离
- 测试,开发,线上数据库环境必须隔离
解读:
(1) 压力测试——测试MySql
二、命名规范
- 库备份必须以back为前缀,以日期为后缀(Backup Repository)- 从库必须以-s为后缀(Subordinate repository)
- 备库必须以-ss为后缀
解读:
(1)MySql库备份实现(导出)
例如,
mysqldump -u root -p databaseName> /home/back/back_xxx_2018.09.01.sql
另外,数据库引入实现使用 source 语句
例如,
mysql -u root -p
use databaseName;
source /home/beifen/xxx.sql;
三、表设计规范
- 单实例表个数,必须控制在2000个以内- 单表分表个数,必须控制在1024个以内
- 表必须有主键,推荐使用UNSIGNED整数为主键
- 禁止使用外键,如果要保证完整性,应由应用程式实现
解读:
- 禁止使用外键,如果要保证完整性,应由应用程式实现
解读:
(1)外键,在数据库层面进行“硬绑定”,使得表之间相互耦合,会影响update/delete等SQL性能,带来很多额外的资源消耗来进行一致性和完整性校验,还有可能造成死锁,高并发情况下容易成为数据库瓶颈。表的关联,只是一种逻辑概念,本并不需要进行物理上的“硬绑定”,而且开发者所期望的关联,只是其数据上存在一定的联系而已,这种联系实际上是设计之初就定义好的固有逻辑。所以在业务代码中实现的时候,只要按照设计之初的这种固有关联逻辑来“存/取”数据即可,并不需要在数据库层面进行“硬绑定”。所以一般不建议在数据库中使用外键约束来保证数据的一致性和完整性。
(2)MySql分库分表,当单表中表记录达到几千万条时,查询一次要很久,如果有联合查询,很可能挂掉。分库分表解决的就是这个问题,来减小数据库的负担,缩短查询时间。一般按功能地区分库、按横向纵向分表(表记录太多、列属性太多)、,另外,建议将大字段,访问频度低的字段拆分到单独的表中存储,分离冷热数据。
四、列设计规范
- 要根据业务区分使用tinyint/int/bigint,分别会占用1/4/8字节- 要根据业务区分使用char/varchar
解读:
(1)字段长度固定或者长度近似的业务场景,适合使用char,能够减少碎片,查询性能高
(2)字段长度相差较大或者更新较少的业务场景,适合使用varchar,能够减少空间
- 要根据业务区分使用datetime/timestamp
解读:
(1)前者占用8个字节,后者占用4个字节
(2)一般业务场景下存储年使用YEAR,存储日期使用DATE
(3)存储时间一般使用datetime,可控性强,timestamp会有时区变量的影响,跨时区使用时应注意
- 必须把字段定义为NOT NULL并设默认值
解读:
(1)NULL的列使用索引,索引统计,值都更加复杂,MySQL更难优化
(2)NULL需要更多的存储空间
(3)NULL只能采用IS NULL或者IS NOT NULL,而在=/!=/in/not in时有大坑
- 必须把字段定义为NOT NULL并设默认值
解读:
(1)NULL的列使用索引,索引统计,值都更加复杂,MySQL更难优化
(2)NULL需要更多的存储空间
(3)NULL只能采用IS NULL或者IS NOT NULL,而在=/!=/in/not in时有大坑
- 使用INT UNSIGNED存储IPv4,不要用char(15)
解读:
(1)mysql存储这个值是字段需要用int UNSIGNED。不用UNSIGNED的话,128以上的IP段就存储不了了。在传统的方法中,创建varchar(15),需要占用15个字节,而改时使用int只需要4字节,可以省一些字节。
- 使用varchar(20)存储手机号,不要使用整数
解读:
(1)手机号一般会牵扯到国家代号,可能出现+/-/()等字符,例如+86
(2)手机号不会用来做数学运算
(3)varchar可以模糊查询,例如like ‘138%’
- 使用TINYINT来代替ENUM
解读:
(1)因为ENUM增加新值要进行DDL操作
五、索引规范
- 唯一索引使用uniq_[字段名]来命名- 非唯一索引使用idx_[字段名]来命名
- 单张表索引数量建议控制在5个以内
解读:
(1)互联网高并发业务,太多索引会影响写性能
(2)生成执行计划时,如果索引太多,会降低性能,并可能导致MySQL选择不到最优索引
(3)异常复杂的查询需求,可以选择ES等更为适合的方式存储
- 组合索引字段数不建议超过5个
解读:
(1)如果5个字段还不能极大缩小row范围,八成是设计有问题
- 不建议在频繁更新的字段上建立索引
- 不建议在频繁更新的字段上建立索引
- 理解组合索引最左前缀原则,避免重复建设索引,如果建立了(a,b,c),相当于建立了(a), (a,b), (a,b,c)
- 非必要不要进行JOIN查询,如果要进行JOIN查询,被JOIN的字段必须类型相同,并建立索引
解读:
- 非必要不要进行JOIN查询,如果要进行JOIN查询,被JOIN的字段必须类型相同,并建立索引
解读:
(1)踩过因为JOIN字段类型不一致,而导致全表扫描的坑么?
六、SQL规范
- 禁止使用select *,只获取必要字段解读:
(1)select *会增加cpu/io/内存/带宽的消耗
(2)指定字段能有效利用索引覆盖
(3)指定字段查询,在表结构变更时,能保证对应用程序无影响
- insert必须指定字段,禁止使用insert into T values()
解读:
(1)指定字段插入,在表结构变更时,能保证对应用程序无影响
- 隐式类型转换会使索引失效,导致全表扫描
- 禁止在where条件列使用函数或者表达式
解读:
- 隐式类型转换会使索引失效,导致全表扫描
- 禁止在where条件列使用函数或者表达式
解读:
(1)导致不能命中索引,全表扫描
- 禁止负向查询以及%开头的模糊查询
解读:
- 禁止负向查询以及%开头的模糊查询
解读:
(1)导致不能命中索引,全表扫描
- 禁止大表JOIN和子查询
- 同一个字段上的OR必须改写问IN,IN的值必须少于50个
- 应用程序必须捕获SQL异常
解读:
- 禁止大表JOIN和子查询
- 同一个字段上的OR必须改写问IN,IN的值必须少于50个
- 应用程序必须捕获SQL异常
解读:
(1)方便定位线上问题
Uncharacteristic front-end development intern.