mysql理论浅谈

版本选择
安装
体系结构
SQL中使用规范
索引和基础调优，explain，slow-log，SQL
存储引擎
Mycat 分库分表
-------------------

1、版本选择

MySQL
5.6 选择GA，GA6个月——1年之间的版本，5.6.38
5.7 选择GA，GA6个月——1年之间的版本，5.7.17以上，5.7.20

rpm
通用二进制
源码包
--------------
MySQL进程线程结构

mysqld（boss）------>master thread（Manager） ---->"worker" thread
(read thread write thread)
“办公区“------>预分配内存结构

mysqld+一堆thread +预分配的内存结构=实例

---------------
mysqld的体系结构

一条SQL语句的执行过程？ select user,host ,password from mysql.user;
连接层：
1、客户端发起数据库连接。
2、连接请求到达连接层，验证用户、密码合法性。
3、连接层接受用户SQL，分配一个专门用作交互的线程（connect thread）;

SQL层的功能
4、连接层线程会将SQL传送SQL层继续处理
5、SQL层接受到SQL语句，语法解释器验证语法
6、语义验证器，检测语句类型（DDL、DML、DCL、DQL），交于对应解析器继续处理
7、解析器接受到SQL，进行解析，解析出执行计划
8、优化器会基于成本的算法，找到成本最低的执行计划
9、执行器基于最优语句的执行计划进行执行，得到获取数据的方法，
会将方法TP给下一层继续处理
10、提供查询缓存，将上一条语句的结果。
11、记录日志（默认没有开启）

存储引擎层：
12、按照SQL提供的获取数据的方法，去对应磁盘位置获取数据即可。
13、将二进制或十六进制的数据结构化成表的形式，由连接线程返回给用户

------------
权限管理：

用户
系统：
定义？
用户名：密码
能做什么？
1、登录系统
2、管理系统对象
MySQL：
定义？
用户名@'主机范围' 主机范围被称之为白名单
主机范围：
10.0.0.200
oldboy.com
10.0.0.%
10.0.0.5%
% XXXX no

开发申请用户时，提供给管理
app@'10.0.0.%' 密码： xxxx

权限： ALL privileges
SELECT, INSERT, UPDATE, DELETE, CREATE, RELOAD,
SHUTDOWN, PROCESS, FILE, REFERENCES, INDEX, ALTER,
SHOW DATABASES, SUPER, CREATE TEMPORARY TABLES, DROP
LOCK TABLES, EXECUTE, REPLICATION SLAVE, REPLICATION CLIENT,
CREATE VIEW, SHOW VIEW, CREATE ROUTINE,
ALTER ROUTINE, CREATE USER, EVENT, TRIGGER, CREATE TABLESPACE

开发人员可能会用到的权限
create update insert select CREATE VIEW CREATE ROUTINE SHOW VIEW
CREATE TEMPORARY TABLES ALTER

grant 权限 on 权限作用范围 to 用户 identified by '密码'

*.*
py.*
py.t1
grant create,update,insert,select ,CREATE VIEW on py.* to py@'192.168.12.%' identified by '123';

select user,host,password from mysql.user;

开发人员申请用户流程：
1、IP段
2、用户名、密码要求
3、需要哪些权限

---------------------------------
MySQL 逻辑结构

数据库对象：
库：用来存放表对象
建库-----> 进入库 ----> 表操作

表：原数据+数据行
二维表：数据行+（列名字+列属性+多少行+占多大磁盘空间+权限）原数据
--------------------------------
客户端工具中自带命令：

1、\h 或 help 或 ?
2、\G
6、source
set sql_log_bin=0;
source world.sql
7、use
------------------------
show databases;
use world
show tables;
show tables from world;

-------------------
SQL： SQL92 SQL99 标准

1、DDL：数据库对象定义语言
1.1 库定义
（1）建库？
CREATE DATABASE db CHARSET utf8;
规范：
库名小写。
建库时加上CHARSET
字符集：utf8 utf8mb4
校对规则：默认都是大小写不敏感的。
（2）删库？
DROP DATABASE db;
（3）修改库
ALTER DATABASE db CHARSET utf8mb4

1.2 表定义

Syntax:
CREATE TABLE tbl_name (create_definition,...)

create_definition:
col_name column_definition
| [CONSTRAINT [symbol]] PRIMARY KEY [index_type] (index_col_name,...)
[index_option] ...
| {INDEX|KEY} [index_name] [index_type] (index_col_name,...)
[index_option] ...
| [CONSTRAINT [symbol]] UNIQUE [INDEX|KEY]
[index_name] [index_type] (index_col_name,...)
[index_option] ...
| {FULLTEXT|SPATIAL} [INDEX|KEY] [index_name] (index_col_name,...)
[index_option] ...
| [CONSTRAINT [symbol]] FOREIGN KEY
[index_name] (index_col_name,...) reference_definition
| CHECK (expr)

column_definition:
data_type [NOT NULL | NULL] [DEFAULT default_value]
[AUTO_INCREMENT] [UNIQUE [KEY]] [[PRIMARY] KEY]
[COMMENT 'string']
[COLUMN_FORMAT {FIXED|DYNAMIC|DEFAULT}]
[STORAGE {DISK|MEMORY|DEFAULT}]
[reference_definition]
data_type:

| ENUM(value1,value2,value3,...)
[CHARACTER SET charset_name] [COLLATE collation_name]

table_options:
table_option [[,] table_option] ...

table_option:

| [DEFAULT] CHARACTER SET [=] charset_name
| ENGINE [=] engine_name

---------------
varchar(30)
char(30)
异同？
1、都是可以存放30个字符长度的数据？
2、varchar会随着真实的存储数据长度分配存储空，需要花费额外资源（cpu、IO）
3、char类型，立即分配指定存储长度占用的磁盘空间。不需要花费额外资源（cpu、IO）。

到底怎么选择呢？
1、varchar 类型只有在insert 时需要花费额外资源，但是在针对可变长度存储时，更省空间。
2、char类型，在存储可变长度数据时，需要用空格填充剩余空间。

SHOW DATABASES;

-- 1.2 表定义
-- 1.2.1 创建表
USE db;
CREATE TABLE t1 (
id INT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT COMMENT '学生学号',
NAME VARCHAR(30) NOT NULL COMMENT '学生姓名',
gender ENUM ('m','f') NOT NULL DEFAULT 'm' COMMENT '学生性别',
birthday DATETIME NOT NULL DEFAULT NOW() COMMENT '入学时间'
) ENGINE INNODB CHARSET utf8;

-- 1.2.1 删除表
DROP TABLE t1;

-- 1.2.3 修改表

-- （1）先添加手机号，内容非空(最后一列)
ALTER TABLE t1 ADD telnum CHAR(11);

-- int -2^31 ~ 2^31-1
-- bigint -2^63 ~ 2^63-1

-- （2）指定添加年龄列到name列后面的位置，示例如下：
ALTER TABLE t1 ADD age TINYINT AFTER NAME;
DESC t1;

-- (3) 通过下面的命令在第一列添加sno字段。p200000001
ALTER TABLE t1 ADD sno CHAR(10) FIRST;

-- (4)若要删除字段，可采用如下命令。
ALTER TABLE t1 DROP sno;

-- (5)若要同时添加两个字段，可采用如下命令。
ALTER TABLE t1 ADD sage TINYINT FIRST,ADD qq VARCHAR(15);

-- (6)修改字段类型的命令如下：
ALTER TABLE t1 MODIFY NAME VARCHAR(20) ;

-- (7)修改字段名称的命令如下：
ALTER TABLE t1 CHANGE age oldboyage CHAR(4) ;

-------------------------------------------------------------

-- DCL:
GRANT
REVOKE

-- DML
INSERT INTO t1(id,NAME,age,...)
UPDATE t1 SET xx=xx WHERE 1=1
DELETE FROM t1 WHERE id=100

-------------防止误删除，误修改-------------
TRIGGER 触发器 ???
-------
伪删除 —— UPDATE 替代 DELETE

DESC t1;
CREATE TABLE t2 (id INT ,NAME VARCHAR(20));
DESC t2;
INSERT INTO t2(id,NAME ) VALUES(1,'zhang3'),(2,'li4'),(3,'wang5');
SELECT * FROM t2;
DELETE FROM t2 WHERE id=2;
ALTER TABLE t2 ADD state TINYINT NOT NULL DEFAULT 1;
UPDATE t2 SET state=0 WHERE id =2;
SELECT * FROM t2 WHERE state=1;

使用中间件，做灰度处理。
--------
连接

内连接：
(1)传统连接
select a.id,b.xyz from a,b
where a.id=b.id

(2)自连接
NATURAL JOIN
select a.id,b.xyz from a
NATURAL JOIN b

(3)join using(id)
select a.id,b.xyz from a
JOIN b
using(id);

(4) join on
select a.id,b.xyz from a
JOIN b
on a.id=b.bid
where

(5) left join riht join
select a.id,b.xyz from a
left JOIN b
on a.id=b.bid

-----------------------

索引及执行计划
B树（默认）：

B+tree
B*tree

Hash 索引

fulltext 索引

B树：
cluster indexes 聚集索引
辅助索引 ------>人为管控的：unique 普通的 index

----------------

1、普通索引的管理实战：

1.1添加索引：
use db
alter table student add index idx_cid(classid);

1.2查询索引：
show index from student;
desc student;

1.3删除索引：
alter table student drop key idx_cid;

2、主键索引创建
2.1.建立表时
CREATE TABLE `test` (
`id` int(4) NOT NULL AUTO_INCREMENT,
`name` char(20) NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=UTF8;

create table t1(id int not null auto_increment primary key);

2.2.建立表后增加
CREATE TABLE `test1` (
`id` int(4) NOT NULL,
`name` char(20) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=UTF8;
增加自增主键
alter table test1 change id id int(11) primary key not null auto_increment;

3、唯一索引
内容唯一，但不是主键。

alter table student add unique key uni_tel(telnum);

怎么判断某个列的值都是唯一的？

注意：
例子:
1、总行数查询
select count(*) from world.city;
2、基于某个列去重复之后还剩多少行
select count(distinct population) from world.city;

-------------------

4、前缀索引和联合索引

4.1、前缀索引：
根据字段的前N个字符建立索引
alter table student add note varchar(200);
alter table student add index idx_note(note(10));

联合索引：多个字段建立一个索引。
where a女生 and b身高165 and c身材好
index(a,b,c)
特点：前缀生效特性。

a,ab,abc,ac 可以走索引或部分走索引。

b bc c ca ba 不走索引。

------------------------

原则：把最常用来作为条件查询的列放在前面。

create table people(id int not null auto_increment primary key ,
name varchar(20),gender enum('m','f'),shengao int,tizhong int);

alter table people add index idx_gst(gender,shengao,tizhong);
------------------------------

explain命令的应用

获取优化器选择后的执行计划

mysql> explain select id,name from student where name='oldboy'\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: test
type: ref
possible_keys: ind_name
key: ind_name
key_len: 60
ref: const
rows: 1
Extra: Using where; Using index
1 row in set (0.00 sec)
++++++++++++++++++++++++++++
explain select SQL_NO_CACHE * from test where name='oldboy'\G
SQL_NO_CACHE的作用是禁止缓存查询结果。

explain select name,gender,age from test where gender='F' and age <20;

------
在MySQL中，查询数据总共两种方式：全表扫描、索引扫描

通过explain命令的type可以看到，ALL的话就是全表扫描。
mysql在使用全表扫描时的性能是极其差的，所以MySQL尽量避免出现全表扫描
全表扫描什么时候出现？
1、业务确实要获取所有数据
2、不走索引，导致的全表扫描
2.1 没索引
2.2 索引创建有问题
2.3 语句有问题
索引扫描有很多种级别，也是通过explain type能看到
------

type : 表示MySQL在表中找到所需行的方式，又称“访问类型”

常见类型如下:

index, range, ref, eq_ref, const, system,Null

从左到右，性能从最差到最好，我们认为至少要达到range级别

1、index：Full Index Scan，index与ALL区别为index类型只遍历索引树

2、range:索引范围扫描，对索引的扫描开始于某一点，返回匹配值域的行。
显而易见的索引范围扫描是带有between或者where子句里带有<,>查询。

where条件后 > < >= <= in or between and

我们在使用索引是，最低应当达到range
use world;
alter table city add index idx_popu(population);
explain select * from city where population >5000000;
explain select * from city where countrycode in ("CHN","JPN");

当mysql使用索引去查找一系列值时，例如IN()和OR列表，也会显示range（范围扫描）,当然性能上面是有差异的。
explain select * from test where countrycode in ('chn','jpn');

改写为：
explain select * from city where countrycode='chn'
union
select * from city where countrycode='jpn';

3、ref：使用非唯一索引扫描或者唯一索引的前缀扫描，返回匹配某个单独值的记录行
explain select * from test where countrycode='chn';

4、eq_ref：类似ref，区别就在使用的索引是唯一索引，对于每个索引键值，表中只有一条记录匹配，简单来说，
就是多表连接中使用primary key或者 unique key作为关联条件

A join B
on A.sid=B.sid

5、const、system：当MySQL对查询某部分进行优化，并转换为一个常量时，使用这些类型访问。
如将主键置于where列表中，MySQL就能将该查询转换为一个常量
explain select * from city where id=1000;

6、NULL：MySQL在优化过程中分解语句，执行时甚至不用访问表或索引，
例如从一个索引列里选取最小值可以通过单独索引查找完成。

Extra:

Using temporary
Using filesort
Using join buffer

如果出现以上附加信息：
请检查order by ,group by ,distinct,join 条件列上没有索引
explain select * from city where countrycode='CHN' order by population;

额外信息：
key_len 越小越好
rows 越小越好
--------------------------------------

建立索引的原则（运维规范）
select count(distinct user) from mysql.user;
select count(distinct user,host) from mysql.user;

一、数据库索引的设计原则：

为了使索引的使用效率更高，在创建索引时，必须考虑在哪些字段上创建索引和创建什么类型的索引。
那么索引设计原则又是怎样的?

1．选择唯一性索引
唯一性索引的值是唯一的，可以更快速的通过该索引来确定某条记录。
例如，学生表中学号是具有唯一性的字段。为该字段建立唯一性索引可以很快的确定某个学生的信息。
如果使用姓名的话，可能存在同名现象，从而降低查询速度。

主键索引和唯一键索引，在查询中使用是效率最高的。

select count(*) from world.city;
select count(distinct countrycode) from world.city;
select count(distinct countrycode,population ) from world.city;

注意：如果重复值较多，可以考虑采用联合索引

2．为经常需要排序、分组和联合操作的字段建立索引
经常需要ORDER BY、GROUP BY、DISTINCT和UNION等操作的字段，排序操作会浪费很多时间。
如果为其建立索引，可以有效地避免排序操作。

3．为常作为查询条件的字段建立索引
如果某个字段经常用来做查询条件，那么该字段的查询速度会影响整个表的查询速度。因此，
为这样的字段建立索引，可以提高整个表的查询速度。
3.1 经常查询
3.2 列值的重复值少

注：如果经常作为条件的列，重复值特别多，可以建立联合索引。

4．尽量使用前缀来索引
如果索引字段的值很长，最好使用值的前缀来索引。例如，TEXT和BLOG类型的字段，进行全文检索
会很浪费时间。如果只检索字段的前面的若干个字符，这样可以提高检索速度。

------------------------以上的是重点关注的，以下是能保证则保证的--------------------

5．限制索引的数目
索引的数目不是越多越好。每个索引都需要占用磁盘空间，索引越多，需要的磁盘空间就越大。
修改表时，对索引的重构和更新很麻烦。越多的索引，会使更新表变得很浪费时间。

6．删除不再使用或者很少使用的索引
表中的数据被大量更新，或者数据的使用方式被改变后，原有的一些索引可能不再需要。数据库管理
员应当定期找出这些索引，将它们删除，从而减少索引对更新操作的影响。

--------不走索引的情况（开发规范）

重点关注：
1) 没有查询条件，或者查询条件没有建立索引

select * from tab; 全表扫描。
select * from tab where 1=1;

（1）select * from tab;

SQL改写成以下语句：
selec * from tab order by price limit 10 需要在price列上建立索引

（2）
select * from tab where name='zhangsan' name列没有索引

改：
1、换成有索引的列作为查询条件
2、将name列建立索引

2) 查询结果集是原表中的大部分数据，应该是30％以上。

查询的结果集，超过了总数行数30%，优化器觉得就没有必要走索引了。

假如：tab表 id，name id:1-100w ，id列有索引

select * from tab where id>500000;

如果业务允许，可以使用limit控制。

怎么改写？
结合业务判断，有没有更好的方式。如果没有更好的改写方案
尽量不要在mysql存放这个数据了。放到redis里面。

3) 索引本身失效，统计数据不真实

索引有自我维护的能力。
对于表内容变化比较频繁的情况下，有可能会出现索引失效。

4) 查询条件使用函数在索引列上，或者对索引列进行运算，运算包括(+，-，*，/，! 等)
例子：
错误的例子：select * from test where id-1=9;
正确的例子：select * from test where id=10;

5)隐式转换导致索引失效.这一点应当引起重视.也是开发中经常会犯的错误.

这样会导致索引失效. 错误的例子：

------------------------
mysql> alter table tab add index inx_tel(telnum);

mysql> select * from tab where telnum='1333333';
+------+------+---------+
| id | name | telnum |
+------+------+---------+
| 1 | a | 1333333 |
+------+------+---------+
1 row in set (0.00 sec)

mysql> select * from tab where telnum=1333333;
+------+------+---------+
| id | name | telnum |
+------+------+---------+
| 1 | a | 1333333 |
+------+------+---------+
1 row in set (0.00 sec)

mysql>

---------------------------------------

6)
<> ，not in 不走索引

EXPLAIN SELECT * FROM teltab WHERE telnum <> '110';
EXPLAIN SELECT * FROM teltab WHERE telnum NOT IN ('110','119');
------------
mysql> select * from tab where telnum <> '1555555';
+------+------+---------+
| id | name | telnum |
+------+------+---------+
| 1 | a | 1333333 |
+------+------+---------+
1 row in set (0.00 sec)

mysql> explain select * from tab where telnum <> '1555555';

-----
单独的>,<,in 有可能走，也有可能不走，和结果集有关，尽量结合业务添加limit
or或in 尽量改成union

EXPLAIN SELECT * FROM teltab WHERE telnum IN ('110','119');
改写成：

EXPLAIN SELECT * FROM teltab WHERE telnum='110'
UNION ALL
SELECT * FROM teltab WHERE telnum='119'

-----------------------------------
7) like "%_" 百分号在最前面不走

EXPLAIN SELECT * FROM teltab WHERE telnum LIKE '31%' 走range索引扫描

EXPLAIN SELECT * FROM teltab WHERE telnum LIKE '%110' 不走索引

%linux%类的搜索需求，可以使用elasticsearch

8) 单独引用复合索引里非第一位置的索引列.
列子：
复合索引：

DROP TABLE t1
CREATE TABLE t1 (id INT,NAME VARCHAR(20),age INT ,sex ENUM('m','f'),money INT);

ALTER TABLE t1 ADD INDEX t1_idx(money,age,sex);

DESC t1
SHOW INDEX FROM t1

走索引的情况测试：

EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND age=30 AND sex='m';
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND age=30 ;
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND sex='m'; ----->部分走索引

不走索引的：

EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE age=20
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE age=30 AND sex='m';
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE sex='m';

posted @ 2018-07-13 15:06 rianley 阅读(426) 评论(0) 编辑收藏举报

刷新页面返回顶部

rianley 的博客

技术这东西，懂的越多，不懂的越多！

mysql理论浅谈

公告