MySQL开发规范
MySQL基本知识
MySQL安装方式
rpm
源码包
通用二进制
在企业中怎么选择MySQL版本？
5.6-5.7
选择GA 6个月到1年之间的
MySQL体系结构
实例：
mysqld在启动时，自动派生master thread ------>生成工作的线程（read write 资源管理 等线程）
预分配内存区域
mysqld三层结构(SQL)
DML（数据操作语言）
是SQL语言中，负责对数据库对象运行数据访问工作的指令集，以INSERT、UPDATE、DELETE三种指令为核心，分别代表插入、更新与删除，是开发以数据为中心的应用程序必定会使用到的指令，因此有很多开发人员都把加上SQL的SELECT语句的四大指令以“CRUD”来称呼
DDL（数据定义语言）
是用于描述数据库中要存储的现实世界实体的语言。
DML（数据控制语言）
是数据库控制语言。是用来设置或更改数据库用户或角色权限的语句，包括（grant,deny,revoke等）语句。在默认状态下，只有sysadmin,dbcreator,db_owner或db_securityadmin等人员才有权力执行DC
三层
连接层：
1、提供连接协议（TCP/IP socket） 2、验证的功能 3、提供一个专门的连接线程（接收用户发来的SQL，执行完成之后返回最终结果，但是没有能力“看懂”SQL，会将SQL语句丢给下一层）
SQL层
1、接收上层发来语句 2、语法检查模块进行语法检查 3、语义的检查模块检查语义，分辨SQL语句的类型，将不同种类的语句交给不同的解析器。 4、解析器接收到SQL语句，进行解析操作，得到SQL的执行计划（explain） 5、优化器负责基于“成本”，找到消耗成本最低的执行计划。 6、执行器会基于优化器的选择，执行SQL语句，得到获取数据方法，交由下一层继续处理。 7、将二进制或者16进制数据，结构化成表 8、查询缓存：SQL语句的hash值+数据结果 ------>redis Tair(memcached)
存储引擎层
根据上层次获取数据的方法，把数据提取出来
MySQL权限管理
用户
系统：
定义？
用户名：密码
能做什么？
1、登录系统
2、管理系统对象
MySQL 逻辑结构
MySQL 逻辑结构
数据库对象：
库 ：用来存放表对象 建库-----> 进入库 ----> 表操作 表 ： 原数据+数据行 二维表： 数据行+（列名字+列属性+多少行+占多大磁盘空间+权限）原数据
MySQL:
定义？ 用户名@'主机范围' 主机范围被称之为白名单
主机范围：
10.0.0.200 oldboy.com 10.0.0.% -----》10.0.0.1-10.0.0.254 10.0.0.5% ----- 10.0.0.50-10.0.0.59 % XXXX no grant all privileges on *.* to app@'10.0.0.%' identified by '123';
开发申请用户时，提供给管理
app@'10.0.0.%' 密码： xxxx
权限
权限： ALL privileges SELECT, INSERT, UPDATE, DELETE, CREATE, RELOAD, SHUTDOWN, PROCESS, FILE, REFERENCES, INDEX, ALTER, SHOW DATABASES, SUPER, CREATE TEMPORARY TABLES, DROP LOCK TABLES, EXECUTE, REPLICATION SLAVE, REPLICATION CLIENT, CREATE VIEW, SHOW VIEW, CREATE ROUTINE, ALTER ROUTINE, CREATE USER, EVENT, TRIGGER, CREATE TABLESPACE
trigger
开发人员可能会用到的权限
create update insert select CREATE VIEW CREATE ROUTINE SHOW VIEW
CREATE TEMPORARY TABLES ALTER
语法：grant 权限 on 权限作用范围 to 用户 identified by '密码'
grant create,update,insert,select ,CREATE VIEW on bbs.* to bbsuser@'192.168.12.%' identified by '123';
select user,host,password from mysql.user;
开发人员申请用户流程：
1、IP段
2、用户名、密码要求
3、需要哪些权限
DDL：数据库对象定义语言
库定义
（1）建库？ CREATE DATABASE db CHARSET utf8; 规范： 库名小写。 建库时加上CHARSET 字符集：utf8 utf8mb4 校对规则：默认都是大小写不敏感的。 lower_case_table_names=1
（2）删库？
DROP DATABASE db;
（3）修改库
ALTER DATABASE db CHARSET utf8mb4
表定义
Syntax: CREATE TABLE tbl_name (col_name column_definition,...) create_definition: col_name column_definition | [CONSTRAINT [symbol]] PRIMARY KEY [index_type] (index_col_name,...) [index_option] ... | {INDEX|KEY} [index_name] [index_type] (index_col_name,...) [index_option] ... | [CONSTRAINT [symbol]] UNIQUE [INDEX|KEY] [index_name] [index_type] (index_col_name,...) [index_option] ... | {FULLTEXT|SPATIAL} [INDEX|KEY] [index_name] (index_col_name,...) [index_option] ... | [CONSTRAINT [symbol]] FOREIGN KEY [index_name] (index_col_name,...) reference_definition | CHECK (expr) column_definition: data_type [NOT NULL | NULL] [DEFAULT default_value] [AUTO_INCREMENT] [UNIQUE [KEY]] [[PRIMARY] KEY] [COMMENT 'string'] [COLUMN_FORMAT {FIXED|DYNAMIC|DEFAULT}] [STORAGE {DISK|MEMORY|DEFAULT}] [reference_definition] data_type: --------------------------------------------- | TINYINT[(length)] [UNSIGNED] [ZEROFILL] | INT[(length)] [UNSIGNED] [ZEROFILL] | BIGINT[(length)] [UNSIGNED] [ZEROFILL] | DATETIME[(fsp)] | CHAR[(length)] [CHARACTER SET charset_name] [COLLATE collation_name] | VARCHAR(length) | ENUM(value1,value2,value3,...) [CHARACTER SET charset_name] [COLLATE collation_name]
创建表
USE db; CREATE TABLE t1 ( id INT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT COMMENT '学生学号', NAME VARCHAR(30) NOT NULL COMMENT '学生姓名', gender ENUM ('m','f') NOT NULL DEFAULT 'm' COMMENT '学生性别', birthday DATETIME NOT NULL DEFAULT NOW() COMMENT '入学时间' ) ENGINE INNODB CHARSET utf8; -- 1.2.1 删除表 DROP TABLE t1; -- 1.2.3 修改表 -- （1）先添加手机号，内容非空(最后一列) ALTER TABLE t1 ADD telnum CHAR(11); -- int -2^31 ~ 2^31-1 -- bigint -2^63 ~ 2^63-1 -- （2）指定添加年龄列到name列后面的位置，示例如下： ALTER TABLE t1 ADD age TINYINT AFTER NAME; DESC t1; -- (3) 通过下面的命令在第一列添加sno字段。p200000001 ALTER TABLE t1 ADD sno CHAR(10) FIRST; -- (4)若要删除字段，可采用如下命令。 ALTER TABLE t1 DROP sno; -- (5)若要同时添加两个字段，可采用如下命令。 ALTER TABLE t1 ADD sage TINYINT FIRST,ADD qq VARCHAR(15); -- (6)修改字段类型的命令如下： ALTER TABLE t1 MODIFY NAME VARCHAR(20) ; -- (7)修改字段名称的命令如下： ALTER TABLE t1 CHANGE age oldboyage CHAR(4) ;
DCL
权限:
GRANT
REVOKE
DML
INSERT INTO t1(id,NAME,age,...) UPDATE t1 SET xx=xx WHERE 1=1 DELETE FROM t1 WHERE id=100 -------------防止误删除，误修改------------- TRIGGER 触发器 ??? 防止无修改。 ------- 伪删除 —— UPDATE 替代 DELETE
连接
连接 内连接： (1)传统连接 select a.id,b.xyz from a,b where a.id=b.id (2)自连接 NATURAL JOIN select a.id,b.xyz from a NATURAL JOIN b (3)join using(id) select a.id,b.xyz from a JOIN b using(id); (4) join on select a.id,b.xyz from a JOIN b on a.id=b.bid where (5) left join riht join select a.id,b.xyz from a left JOIN b on a.id=b.bid ------------------------ 表连接就是集合操作 内链接 where ： select a.xxx,b.xxx from a,b where a.xxx=b.xxx and NATURAL JOIN : select a.xxx,b.xxx from a NATURAL JOIN b join using : select a.xxx,b.xxx from a JOIN b using(id) join on： 外连接 left join select a.xxx,b.xxx from a left JOIN b on a.xx=b.xxx and age>20 select * from student where id>10 select * from student where id=10 or id=20; select * from student where id in (10,20); #开发规范推荐使用union all 去条件查找 select * from student where id=10 union all select * from student where id=20
索引及执行计划
B树（默认）： B+tree B*tree Hash 索引 fulltext 索引 B树： cluster indexes 聚集索引 辅助索引 ------>人为管控的：unique 普通的 index
普通索引的实战管理：
添加索引： use db alter table student add index idx_cid(classid); 查询索引： show index from student; desc student; 删除索引： alter table student drop key idx_cid;
主键索引创建
2.1.建立表时 CREATE TABLE `test` ( `id` int(4) NOT NULL AUTO_INCREMENT, `name` char(20) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=UTF8; create table t1(id int not null auto_increment primary key); 2.2.建立表后增加 CREATE TABLE `test1` ( `id` int(4) NOT NULL, `name` char(20) NOT NULL ) ENGINE=InnoDB DEFAULT CHARSET=UTF8; 增加自增主键 alter table test1 change id id int(11) primary key not null auto_increment; 3、唯一索引 内容唯一，但不是主键。 alter table student add unique key uni_tel(telnum); 怎么判断某个列的值都是唯一的？ 注意： 例子: 1、总行数查询 select count(*) from world.city; 2、基于某个列去重复之后还剩多少行 select count(distinct population) from world.city;
前缀索引和联合索引
4.1、前缀索引： 根据字段的前N个字符建立索引 alter table student add note varchar(200); alter table student add index idx_note(note(10)); 联合索引：多个字段建立一个索引。 where a女生 and b身高165 and c身材好 index(a,b,c) 特点：前缀生效特性。 alter table people add index idx(a,b,c); a,ab,abc,ac 可以走索引或部分走索引。 b bc c ca ba 不走索引。 ------------------------ create table people(id int not null auto_increment primary key , name varchar(20),gender enum('m','f'),shengao int,tizhong int); alter table people add index idx_gst(gender,shengao,tizhong);
explain命令的应用
获取优化器选择后的执行计划 mysql> explain select * from city where population <100\G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: city type: range possible_keys: idx_popu key: idx_popu key_len: 4 ref: NULL rows: 1 Extra: Using index condition 1 row in set (0.00 sec) mysql> ++++++++++++++++++++++++++++ explain select SQL_NO_CACHE * from test where name='oldboy'\G SQL_NO_CACHE的作用是禁止缓存查询结果。 explain select name,gender,age from test where gender='F' and age <20; ------ 在MySQL中，查询数据总共两种方式：全表扫描、索引扫描 通过explain命令的type可以看到，ALL的话就是全表扫描。 mysql在使用全表扫描时的性能是极其差的，所以MySQL尽量避免出现全表扫描 全表扫描什么时候出现？ 1、业务确实要获取所有数据 2、不走索引，导致的全表扫描 2.1 没索引 2.2 索引创建有问题 2.3 语句有问题 索引扫描有很多种级别，也是通过explain type能看到 ------ type : 表示MySQL在表中找到所需行的方式，又称“访问类型” 常见类型如下: index, range, ref, eq_ref, const system, Null 从左到右，性能从最差到最好，我们认为至少要达到range级别 1、index：Full Index Scan，index与ALL区别为index类型只遍历索引树 2、range:索引范围扫描，对索引的扫描开始于某一点，返回匹配值域的行。 显而易见的索引范围扫描是带有between或者where子句里带有<,>查询。 where条件后 > < >= <= in or between and 我们在使用索引是，最低应当达到range use world; alter table city add index idx_popu(population); explain select * from city where population >5000000; explain select * from city where countrycode in ("CHN","JPN"); 当mysql使用索引去查找一系列值时，例如IN()和OR列表，也会显示range（范围扫描）,当然性能上面是有差异的。 explain select * from test where countrycode in ('chn','jpn'); 改写为： explain select * from city where countrycode='chn' union select * from city where countrycode='jpn'; 3、ref：使用非唯一索引扫描或者唯一索引的前缀扫描，返回匹配某个单独值的记录行 explain select * from test where countrycode='chn'; 4、eq_ref：类似ref，区别就在使用的索引是唯一索引，对于每个索引键值，表中只有一条记录匹配，简单来说， 就是多表连接中使用primary key或者 unique key作为关联条件 A join B on A.sid=B.sid 5、const、system：当MySQL对查询某部分进行优化，并转换为一个常量时，使用这些类型访问。 如将主键置于where列表中，MySQL就能将该查询转换为一个常量 explain select * from city where id=1000; 6、NULL：MySQL在优化过程中分解语句，执行时甚至不用访问表或索引， 例如从一个索引列里选取最小值可以通过单独索引查找完成。 mysql> explain select name,population from city; +----+-------------+-------+------+---------------+------+---------+------+------+-------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+-------+------+---------------+------+---------+------+------+-------+ | 1 | SIMPLE | city | ALL | NULL | NULL | NULL | NULL | 4188 | NULL | +----+-------------+-------+------+---------------+------+---------+------+------+-------+ Extra: Using temporary Using filesort Using join buffer 如果出现以上附加信息： 请检查order by ,group by ,distinct,join ,union 条件列上没有索引 explain select * from city where countrycode='CHN' order by population; 额外信息： key_len 越小越好 rows 越小越好
建立索引的原则（运维规范）
select count(distinct user) from mysql.user;
select count(distinct user,host) from mysql.user;
一、数据库索引的设计原则：
为了使索引的使用效率更高，在创建索引时，必须考虑在哪些字段上创建索引和创建什么类型的索引。
那么索引设计原则又是怎样的?
1．选择唯一性索引
唯一性索引的值是唯一的，可以更快速的通过该索引来确定某条记录。
例如，学生表中学号是具有唯一性的字段。为该字段建立唯一性索引可以很快的确定某个学生的信息。
如果使用姓名的话，可能存在同名现象，从而降低查询速度。
主键索引和唯一键索引，在查询中使用是效率最高的。
select count(*) from world.city;
select count(distinct countrycode) from world.city;
select count(distinct countrycode,population ) from world.city;
注意：如果重复值较多，可以考虑采用联合索引
2．为经常需要排序、分组和联合操作的字段建立索引
经常需要ORDER BY、GROUP BY、DISTINCT和UNION等操作的字段，排序操作会浪费很多时间。
如果为其建立索引，可以有效地避免排序操作。
3．为常作为查询条件的字段建立索引
如果某个字段经常用来做查询条件，那么该字段的查询速度会影响整个表的查询速度。因此，
为这样的字段建立索引，可以提高整个表的查询速度。
3.1 经常查询
3.2 列值的重复值少
注：如果经常作为条件的列，重复值特别多，可以建立联合索引。
4．尽量使用前缀来索引
如果索引字段的值很长，最好使用值的前缀来索引。例如，TEXT和BLOG类型的字段，进行全文检索
会很浪费时间。如果只检索字段的前面的若干个字符，这样可以提高检索速度。
开发规范
--------不走索引的情况（开发规范）
重点关注：
1) 没有查询条件，或者查询条件没有建立索引
select * from tab; 全表扫描。
select * from tab where 1=1;
（1）select * from tab;
SQL改写成以下语句：
selec * from tab order by price limit 10 需要在price列上建立索引
（2）
select * from tab where name='zhangsan' name列没有索引
改：
1、换成有索引的列作为查询条件
2、将name列建立索引
2) 查询结果集是原表中的大部分数据，应该是30％以上。
查询的结果集，超过了总数行数30%，优化器觉得就没有必要走索引了。
假如：tab表 id，name id:1-100w ，id列有索引
select * from tab where id>500000;
如果业务允许，可以使用limit控制。
怎么改写 ？
结合业务判断，有没有更好的方式。如果没有更好的改写方案
尽量不要在mysql存放这个数据了。放到redis里面。
3) 索引本身失效，统计数据不真实
索引有自我维护的能力。
对于表内容变化比较频繁的情况下，有可能会出现索引失效。
4) 查询条件使用函数在索引列上，或者对索引列进行运算，运算包括(+，-，*，/，! 等)
例子：
错误的例子：select * from test where id-1=9;
正确的例子：select * from test where id=10;
5)隐式转换导致索引失效.这一点应当引起重视.也是开发中经常会犯的错误.
这样会导致索引失效. 错误的例子：
------------------------ mysql> alter table tab add index inx_tel(telnum); mysql> desc tab; +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | YES | | NULL | | | name | varchar(20) | YES | | NULL | | | telnum | varchar(20) | YES | MUL | NULL | | +--------+-------------+------+-----+---------+-------+ 3 rows in set (0.01 sec) mysql> select * from tab where telnum='1333333'; +------+------+---------+ | id | name | telnum | +------+------+---------+ | 1 | a | 1333333 | +------+------+---------+ 1 row in set (0.00 sec) mysql> select * from tab where telnum=1333333; +------+------+---------+ | id | name | telnum | +------+------+---------+ | 1 | a | 1333333 | +------+------+---------+ 1 row in set (0.00 sec) mysql> explain select * from tab where telnum='1333333'; +----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+ | 1 | SIMPLE | tab | ref | inx_tel | inx_tel | 63 | const | 1 | Using index condition | +----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+ 1 row in set (0.00 sec) mysql> explain select * from tab where telnum=1333333; +----+-------------+-------+------+---------------+------+---------+------+------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+-------+------+---------------+------+---------+------+------+-------------+ | 1 | SIMPLE | tab | ALL | inx_tel | NULL | NULL | NULL | 2 | Using where | +----+-------------+-------+------+---------------+------+---------+------+------+-------------+ 1 row in set (0.00 sec) mysql> explain select * from tab where telnum=1555555; +----+-------------+-------+------+---------------+------+---------+------+------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+-------+------+---------------+------+---------+------+------+-------------+ | 1 | SIMPLE | tab | ALL | inx_tel | NULL | NULL | NULL | 2 | Using where | +----+-------------+-------+------+---------------+------+---------+------+------+-------------+ 1 row in set (0.00 sec) mysql> explain select * from tab where telnum='1555555'; +----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+ | 1 | SIMPLE | tab | ref | inx_tel | inx_tel | 63 | const | 1 | Using index condition | +----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+ 1 row in set (0.00 sec) mysql> --------------------------------------- 6) <> ，not in 不走索引 EXPLAIN SELECT * FROM teltab WHERE telnum <> '110'; EXPLAIN SELECT * FROM teltab WHERE telnum NOT IN ('110','119'); ------------ mysql> select * from tab where telnum <> '1555555'; +------+------+---------+ | id | name | telnum | +------+------+---------+ | 1 | a | 1333333 | +------+------+---------+ 1 row in set (0.00 sec) mysql> explain select * from tab where telnum <> '1555555'; ----- 单独的>,<,in 有可能走，也有可能不走，和结果集有关，尽量结合业务添加limit or或in 尽量改成union EXPLAIN SELECT * FROM teltab WHERE telnum IN ('110','119'); 改写成： EXPLAIN SELECT * FROM teltab WHERE telnum='110' UNION ALL SELECT * FROM teltab WHERE telnum='119'
7) like "%_" 百分号在最前面不走
EXPLAIN SELECT * FROM teltab WHERE telnum LIKE '31%' 走range索引扫描 EXPLAIN SELECT * FROM teltab WHERE telnum LIKE '%110' 不走索引
%linux%类的搜索需求，可以使用elasticsearch
8) 单独引用复合索引里非第一位置的索引列.
列子：
复合索引：
DROP TABLE t1 CREATE TABLE t1 (id INT,NAME VARCHAR(20),age INT ,sex ENUM('m','f'),money INT); ALTER TABLE t1 ADD INDEX t1_idx(money,age,sex); DESC t1 SHOW INDEX FROM t1
走索引的情况测试：
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND age=30 AND sex='m'; EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND age=30 ; EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND sex='m'; ----->部分走索引
不走索引的：
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE age=20 EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE age=30 AND sex='m'; EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE sex='m';
