十七: 性能分析工具的使用

性能分析工具的使用

在数据库调优中，我们的目标就是响应时间更快，吞吐量更大。利用宏观的监控工具和微观的日志分析可以帮我们快速找到调优的思路和方式。

1.数据库服务器的优化步骤

当我们遇到数据库调优问题的时候，该如何思考呢？

这里把思考的流程整理成下面这张图。整个流程划分成了观察（Show status）和行动（Action）两个部分。字母 S 的部分代表观察（会使用相应的分析工具），字母 A 代表的部分是行动（对应分析可以采取的行动）。

我们可以通过观察了解数据库整体的运行状态，通过性能分析工具可以让我们了解执行慢的SQL都有哪些,查看具体的SQL执行计划，甚至是SQL执行中的每一步的成本代价,这样才能定位问题所在，找到了问题，再采取相应的行动。

详细解释一下这张图:
首先在S1部分,我们需要观察服务器的状态是否存在周期性的波动。如果存在周期性波动，有可能是周期性节点的原因，比如双十一、促销活动等。这样的话，我们可以通过A1这- -步骤解决，也就是加缓存，或者更改缓存失效策略。

如果缓存策略没有解决，或者不是周期性波动的原因，我们就需要进一步分析查询延迟和卡顿的原因。接下来进入S2这一步，我们需要开启慢查询。慢查询可以帮我们定位执行慢的SQL语句。我们可以通过设置long_query_time参数定义“慢”的阈值，如果SQL执行时间超过了long_query_time, 则会认为是慢查询。当收集_上来这些慢查询之后，我们就可以通过分析工具对慢查询日志进行分析。

在S3这一步骤中，我们就知道了执行慢的SQL,这样就可以针对性地用EXPL AIN查看对应SQL语句的执行计划，或者使用show profile 查看SQL中每一个步骤的时间成本。这样我们就可以了解SQL查询慢是因为执行时间长，还是等待时间长。

如果是SQL等待时间长，我们进入A2步骤。在这一步骤中，我们可以调优服务器的參數，比如适当增加数据库缓冲池等。如果是SQL执行时间长，就进入A3步骤,这一步中我们需要考虑是索引设计的问题?还是查询关联的数据表过多?还是因为数据表的字段设计问题导致了这一现象。然后在这些维度上进行对应的调整。

如果A2和A3都不能解决问题，我们需要考虑数据库自身的SQL查询性能是否已经达到了瓶颈，如果确认没有达到性能瓶颈，就需要重新检查，重复以上的步骤。如果已经达到了性能瓶颈，进入A4阶段，需要考虑增加服务器，采用读写分离的架构,或者考虑对数据库进行分库分表，比如垂直分库、垂直分表和水平分表等。

以上就是数据库调优的流程思路。如果我们发现执行SQL时存在不规则延迟或卡顿的时候，就可以采用分析工具帮我们定位有问题的SQL,这三种分析工具你可以理解是SQL调优的三个步骤:慢查询、EXPLAIN 和SHOW PROFILING

小结:

2. 查看系统性能参数

在MySQL中，可以使用 SHOW STATUS 语句查询一些MySQL数据库服务器的性能参数、执行频率。 SHOW STATUS语句语法如下：

SHOW [GLOBAL|SESSION] STATUS LIKE '参数';

一些常用的性能参数如下：

Connections：连接MySQL服务器的次数。
Uptime：MySQL服务器的上线时间。
Slow_queries：慢查询的次数。
Innodb_rows_read：Select查询返回的行数
Innodb_rows_inserted：执行INSERT操作插入的行数
Innodb_rows_updated：执行UPDATE操作更新的行数
Innodb_rows_deleted：执行DELETE操作删除的行数
Com_select：查询操作的次数。
Com_insert：插入操作的次数。对于批量插入的 INSERT 操作，只累加一次。
Com_update：更新操作的次数。
Com_delete：删除操作的次数。

3. 统计SQL的查询成本：last_query_cost

一条 SQL查询语句在执行前需要确定查询执行计划，如果存在多种执行计划的话，MySQL 会计算每个执行计划所需要的成本，从中选择成本最小的一个作为最终执行的执行计划。
如果我们想要查看某条SQL语句的查询成本，可以在执行完这条SQL语句之后,通过查看当前会话中的last_query_cost变量值来得到当前查询的成本。它通常也是我们评价一个查询的执行效率的一个常用指标。这个查询成本对应的是SQL语句所需要读取的页的数量。

我们依然使用 student_info 表为例：

CREATE TABLE `student_info` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`student_id` INT NOT NULL ,
`name` VARCHAR(20) DEFAULT NULL,
`course_id` INT NOT NULL ,
`class_id` INT(11) DEFAULT NULL,
`create_time` DATETIME DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (`id`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

如果我们想要查询 id=900001 的记录，然后看下查询成本，我们可以直接在聚簇索引上进行查找：

SELECT student_id, class_id, NAME, create_time FROM student_info
WHERE id = 900001;

运行结果（1 条记录，运行时间为 0.042s ）然后再看下查询优化器的成本，实际上我们只需要检索一个页即可：

mysql> SHOW STATUS LIKE 'last_query_cost';
+-----------------+----------+
| Variable_name | Value |
+-----------------+----------+
| Last_query_cost | 1.000000 |
+-----------------+----------+

如果我们想要查询 id 在 900001 到 9000100 之间的学生记录呢？

SELECT student_id, class_id, NAME, create_time FROM student_info
WHERE id BETWEEN 900001 AND 900100;

运行结果（100 条记录，运行时间为 0.046s ）：然后再看下查询优化器的成本，这时我们大概需要进行 20 个页的查询。

mysql> SHOW STATUS LIKE 'last_query_cost';
+-----------------+-----------+
| Variable_name | Value |
+-----------------+-----------+
| Last_query_cost | 21.134453 |
+-----------------+-----------+

你能看到页的数量是刚才的 20 倍，但是查询的效率并没有明显的变化，实际上这两个 SQL 查询的时间基本上一样，就是因为采用了顺序读取的方式将页面一次性加载到缓冲池中，然后再进行查找。虽然页数量（last_query_cost）增加了不少，但是通过缓冲池的机制，并没有增加多少查询时间。

使用场景：它对于比较开销是非常有用的，特别是我们有好几种查询方式可选的时候。

SQL查询是一个动态的过程，从页加载的角度来看，我们可以得到以下两点结论:
1.位置决定效率。如果页就在数据库缓冲池中，那么效率是最高的，否则还需要从内存或者磁盘中进行读取，当然针对单个页的读取来说，如果页存在于内存中，会比在磁盘中读取效率高很多。
2.批量决定效率。如果我们从磁盘中对单一页进行随机读，那么效率是很低的(差不多10ms)，而采用顺序读取的方式，批量对页进行读取，平均一页的读取效率就会提升很多，甚至要快于单个页面在内存中的随机读取。

所以说，遇到I/O并不用担心，方法找对了，效率还是很高的。我们首先要考虑数据存放的位置，如果是经常使用的数据就要尽量放到缓冲池中，其次我们可以充分利用磁盘的吞吐能力，一次性批量读取数据，这样单个页的读取效率也就得到了提升。

4. 定位执行慢的 SQL：慢查询日志

MySQL的慢查询日志，用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time 值的SQL,则会被记录到慢查询日志中。long_query_time的默认值为10,意思是运行10秒以上(不含10秒)的语句，认为是超出了我们的最大忍耐时间值。

它的主要作用是，帮助我们发现那些执行时间特别长的SQL查询，并且有针对性地进行优化，从而提高系统的整体效率。当我们的数据库服务器发生阻塞、运行变慢的时候，检查一下慢查询日志，找到那些慢查询,对解决问题很有帮助。比如一条sq|执行超过5秒钟，我们就算慢SQL,希望能收集超过5秒的sql,结合explain进行全面分析。

默认情况下，MySQL数据库没有开启慢查询日志，需要我们手动来设置这个参数。如果不是调优需要的话, 一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件。

4.1 开启慢查询日志参数

开启slow_query_log

mysql > set global slow_query_log='ON';

然后我们再来查看下慢查询日志是否开启，以及慢查询日志文件的位置：

你能看到这时慢查询分析已经开启，同时文件保存在 /var/lib/mysql/atguigu02-slow.log 文件中。

修改long_query_time阈值

接下来我们来看下慢查询的时间阈值设置，使用如下命令：

mysql > show variables like '%long_query_time%';

这里如果我们想把时间缩短，比如设置为 1 秒，可以这样设置：

#测试发现：设置global的方式对当前session的long_query_time失效。对新连接的客户端有效。所以可以一并
执行下述语句
mysql > set global long_query_time = 1;
mysql> show global variables like '%long_query_time%';

mysql> set long_query_time=1;
mysql> show variables like '%long_query_time%';

补充:配置文件中一并设置参数
如下的方式相较于前面的命令行方式，可以看作是永久设置的方式。
修改my.cnf文件，[mysqld]下增加或修改参数 long_query_time、slow_ query_log 和slow_query_log. file后，然后重启MySQL服务器。

[mysq1d]
slow_query_log=ON  #开启慢查询日志的开关
slow_query_1og_file=/var/lib/mysql/atguigu-slow.log  #慢查询日志的目录和文件名信息

long_query_time=3  #设置慢查询的阈值为3秒，超出此设定值的SQL即被记录到慢查询日志
log_output=FILE

如果不指定存储路径，慢查询日志将默认存储到MySQL数据库的数据文件夹下。如果不指定文件名，默认文件名为hostname-slow.log.

4.2 查看慢查询数目

查询当前系统中有多少条慢查询记录

SHOW GLOBAL STATUS LIKE '%Slow_queries%';

4.3 案例演示

步骤1. 建表

CREATE TABLE `student` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`stuno` INT NOT NULL ,
`name` VARCHAR(20) DEFAULT NULL,
`age` INT(3) DEFAULT NULL,
`classId` INT(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

步骤2：设置参数 log_bin_trust_function_creators

创建函数，假如报错：

This function has none of DETERMINISTIC......

命令开启：允许创建函数设置：

set global log_bin_trust_function_creators=1; # 不加global只是当前窗口有效。

步骤3：创建函数

随机产生字符串：（同上一章）

DELIMITER //

CREATE FUNCTION rand_string (n INT) RETURNS VARCHAR (255) #该函数会返回一个字符串
BEGIN
  DECLARE chars_str VARCHAR (100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ' ;
  DECLARE return_str VARCHAR (255) DEFAULT '' ;
  DECLARE i INT DEFAULT 0 ;
  WHILE
    i < n DO SET return_str = CONCAT(
      return_str,
      SUBSTRING(chars_str, FLOOR(1+ RAND() * 52), 1)
    ) ;
    SET i = i + 1 ;
  END WHILE ;
  RETURN return_str ;
END //

DELIMITER ;

#测试
SELECT 
  rand_string (10) ;

产生随机数值：（同上一章）

DELIMITER //

CREATE FUNCTION rand_num (from_num INT, to_num INT) RETURNS INT (11) 
BEGIN
  DECLARE i INT DEFAULT 0 ;
  SET i = FLOOR(
    from_num + RAND() * (to_num - from_num + 1)
  ) ;
  RETURN i ;
END //

DELIMITER ;

#测试：
SELECT 
  rand_num (10, 100) ;

步骤4：创建存储过程

DELIMITER //

CREATE PROCEDURE insert_stu1 (START INT, max_num INT) 
BEGIN
  DECLARE i INT DEFAULT 0 ;
  SET autocommit = 0 ;
  #设置手动提交事务
  REPEAT
    #循环
    SET i = i + 1 ;
    #赋值
    INSERT INTO student (stuno, NAME, age, classId) 
    VALUES
      (
        (START + i),
        rand_string (6),
        rand_num (10, 100),
        rand_num (10, 1000)
      ) ;
    UNTIL i = max_num 
  END REPEAT ;
  COMMIT ;
  #提交事务
END //

DELIMITER ;

步骤5：调用存储过程

#调用刚刚写好的函数, 4000000条记录,从100001号开始
CALL insert_stu1(100001,4000000);

4.4 测试及分析

测试

mysql> SELECT * FROM student WHERE stuno = 3455655;
+---------+---------+--------+------+---------+
| id | stuno | name | age | classId |
+---------+---------+--------+------+---------+
| 3523633 | 3455655 | oQmLUr | 19 | 39 |
+---------+---------+--------+------+---------+
1 row in set (2.09 sec)

mysql> SELECT * FROM student WHERE name = 'oQmLUr';
+---------+---------+--------+------+---------+
| id | stuno | name | age | classId |
+---------+---------+--------+------+---------+
| 1154002 | 1243200 | OQMlUR | 266 | 28 |
| 1405708 | 1437740 | OQMlUR | 245 | 439 |
| 1748070 | 1680092 | OQMlUR | 240 | 414 |
| 2119892 | 2051914 | oQmLUr | 17 | 32 |
| 2893154 | 2825176 | OQMlUR | 245 | 435 |
| 3523633 | 3455655 | oQmLUr | 19 | 39 |
+---------+---------+--------+------+---------+
6 rows in set (2.39 sec)

从上面的结果可以看出来，查询学生编号为“3455655”的学生信息花费时间为2.09秒。查询学生姓名为 “oQmLUr”的学生信息花费时间为2.39秒。已经达到了秒的数量级，说明目前查询效率是比较低的，下面的小节我们分析一下原因。

分析

show status like 'slow_queries';

补充说明:
除了上述变量，控制慢查询日志的还有一个系统变量: min_examingd_row_limit. 这个变量的意思是，查询扫描过的最少记录数。这个变量和查询执行时间，共同组成了判别一个查询是否是慢查询的条件。如果查询扫描过的记录数大于等于这个变量的值，并且查询执行时间超过long_query_time 的值，那么，这个查询就被记录到慢查询日志中; 反之，则不被记录到慢查询日志中。

这个值默认是0。与long_query_time=10合在一起，表示只要查询的执行时间超过10秒钟，哪怕一个记录也没有扫描过，都要被记录到慢查询日志中。你也可以根据需要，通过修改“my.ini"文件，来修改查询时长，或者通过SET指令，用SQL语句修改min_examined_row_limit的值。

4.5 慢查询日志分析工具：mysqldumpslow

在生产环境中，如果要手工分析日志，查找、分析SQL，显然是个体力活，MySQL提供了日志分析工具mysqldumpslow 。

查看mysqldumpslow的帮助信息

mysqldumpslow --help

mysqldumpslow 命令的具体参数如下：

-a: 不将数字抽象成N，字符串抽象成S
-s: 是表示按照何种方式排序：
- c: 访问次数
- l: 锁定时间
- r: 返回记录
- t: 查询时间
- al:平均锁定时间
- ar:平均返回记录数
- at:平均查询时间（默认方式）
- ac:平均查询次数
-t: 即为返回前面多少条的数据；
-g: 后边搭配一个正则匹配模式，大小写不敏感的；

举例：我们想要按照查询时间排序，查看前五条 SQL 语句，这样写即可：

mysqldumpslow -s t -t 5 /var/lib/mysql/atguigu01-slow.log

[root@bogon ~]# mysqldumpslow -s t -t 5 /var/lib/mysql/atguigu01-slow.log

Reading mysql slow query log from /var/lib/mysql/atguigu01-slow.log
Count: 1 Time=2.39s (2s) Lock=0.00s (0s) Rows=13.0 (13), root[root]@localhost
SELECT * FROM student WHERE name = 'S'

Count: 1 Time=2.09s (2s) Lock=0.00s (0s) Rows=2.0 (2), root[root]@localhost
SELECT * FROM student WHERE stuno = N

Died at /usr/bin/mysqldumpslow line 162, <> chunk 2.

工作常用参考：

#得到返回记录集最多的10个SQL
mysqldumpslow -s r -t 10 /var/lib/mysql/atguigu-slow.log

#得到访问次数最多的10个SQL
mysqldumpslow -s c -t 10 /var/lib/mysql/atguigu-slow.log

#得到按照时间排序的前10条里面含有左连接的查询语句
mysqldumpslow -s t -t 10 -g "left join" /var/lib/mysql/atguigu-slow.log

#另外建议在使用这些命令时结合 | 和more 使用 ，否则有可能出现爆屏情况
mysqldumpslow -s r -t 10 /var/lib/mysql/atguigu-slow.log | more

4.6 关闭慢查询日志

MySQL服务器停止慢查询日志功能有两种方法：

方式1：永久性方式

[mysqld]
slow_query_log=OFF

或者，把slow_query_log一项注释掉或删除

[mysqld]
#slow_query_log =OFF

重启MySQL服务，执行如下语句查询慢日志功能。

SHOW VARIABLES LIKE '%slow%'; #查询慢查询日志所在目录
SHOW VARIABLES LIKE '%long_query_time%'; #查询超时时长

方式2：临时性方式

使用SET语句来设置。

(1)停止MySQL慢查询日志功能，具体SQL语句如下。

SET GLOBAL slow_query_log=off;

（2）重启MySQL服务，使用SHOW语句查询慢查询日志功能信息，具体SQL语句如下

SHOW VARIABLES LIKE '%slow%';
#以及
SHOW VARIABLES LIKE '%long_query_time%';

4.7 删除慢查询日志

使用SHOW语句显示慢查询日志信息，具体SQL语句如下。

SHOW VARIABLES LIKE 'slow_query_1og%' ;

从执行结果可以看出，慢查询日志的目录默认为MySQL的数据目录,在该目录下手动删除慢查询日志文件即可。
使用命令mysqladmin flush-logs来重新生成查询日志文件，具体命令如下，执行完毕会在数据目录下重新生成慢查询日志文件。

mysqladmin -uroot -p flush-logs slow # slow 代表只刷新慢查询日志

提示
慢查询日志都是使用mysqladmin flush-logs命令来删除重建的。使用时一定要注意，一旦执行了这个命令，慢查询日志都只存在新的日志文件中，如果需要旧的查询日志，就必须事先备份。

5. 查看 SQL 执行成本：SHOW PROFILE

Show Profile是MySQL提供的可以用来分析当前会话中SQL都做了什么、执行的资源消耗情况的工具，可用于sql调优的测量。默认情况下处于关闭状态，并保存最近15次的运行结果。

会话级别开启:

mysql > show variables like 'profiling';

通过设置 profiling='ON’ 来开启 show profile：

mysql > set profiling = 'ON';

然后执行相关的查询语句。接着看下当前会话都有哪些 profiles，使用下面这条命令：

mysql > show profiles;

你能看到当前会话一共有 2 个查询。如果我们想要查看最近一次查询的开销，可以使用：

mysql > show profile;

mysql> show profile cpu,block io for query 2;

show profile的常用查询参数：

① ALL：显示所有的开销信息。

② BLOCK IO：显示块IO开销。

③ CONTEXT SWITCHES：上下文切换开销。

④ CPU：显示CPU开销信息。

⑤ IPC：显示发送和接收开销信息。

⑥ MEMORY：显示内存开销信息。

⑦ PAGE FAULTS：显示页面错误开销信息。

⑧ SOURCE：显示和Source_function，Source_file， Source_line相关的开销信息。

⑨ SWAPS：显示交换次数开销信息。

日常开发需注意的结论:
①converting HEAP to MyISAM: 查询结果太大，内存不够,数据往磁盘上搬了。

②Creating tmp table: 创建临时表。先拷贝数据到临时表，用完后再删除临时表。

③Copying to tmp table on disk :把内存中临时表复制到磁盘上,警惕!

④locked。

如果在show profile诊断结果中出现了以上4条结果中的任何一条，则sql语句需要优化。

注意:

不过SHOW PROFILE命令将被弃用，我们可以从information_schema中的profiling数据表进行查看。

6. 分析查询语句：EXPLAIN

6.1 概述

定位了查询慢的SQL之后，我6.1 概述们就可以使用EXPLAIN 或DESCRIBE工具做针对性的分析查询语句。DESCRIBE语句的使用方法与EXPLAIN语句是一样的, 并且分析结果也是一样的。

MySQL中有专负责优化SELECT语句的优化器模块，主要功能: 通过计算分析系统中收集到的统计信息，为客户端请求的Query提供它认为最优的执行计划(他认为最优的数据检索方式，但不见得是DBA认为是最优的，这部分最耗费时间)。

这个执行计划展示了接下来具体执行查询的方式，比如多表连接的顺序是什么,对于每个表采用什么访问方法来具体执行查询等等. MySQL为我们提供了 EXPLAIN语句来帮助我们查看某个查询语句的具体执行计划，大家看懂EXPLAIN语句的各个输出项，可以有针对性的提升我们查询语句的性能。

1.能做什么?

表的读取顺序
数据读取操作的操作类型
哪些索引可以使用
哪些索引被实际使用.
表之间的引用
每张表有多少行被优化器查询

官网介绍

MySQL :: MySQL 8.0 Reference Manual :: 8.8.2 EXPLAIN Output Format

MySQL :: MySQL 5.7 Reference Manual :: 8.8.2 EXPLAIN Output Format

版本情况

MySQL 5.6.3以前只能 EXPLAIN SELECT ；MYSQL 5.6.3以后就可以 EXPLAIN SELECT，UPDATE， DELETE
在5.7以前的版本中，想要显示 partitions 需要使用 explain partitions 命令；想要显示 filtered 需要使用 explain extended 命令。,在5.7版本后，默认explain直接显示partitions和 filtered中的信息。

6.2 基本语法

EXPLAIN 或 DESCRIBE语句的语法形式如下：

EXPLAIN SELECT select_options
或者
DESCRIBE SELECT select_options

如果我们想看看某个查询的执行计划的话，可以在具体的查询语句前边加一个 EXPLAIN ，就像这样：

mysql> EXPLAIN SELECT 1;

输出的.上述信息就是所谓的执行计划。在这个执行计划的辅助下，我们需要知道应该怎样改进自己的查询语句以使查询执行起来更高效。其实除了以SELECT开头的查询语句，其余的DELETE、INSERT、 REPLACE 以及UPDATE语句等都可以加上EXPLAIN,用来查看这些语句的执行计划，只是平时我们对SELECT语句更感兴趣。注意:执行EXPLAIN时并没有真正的执行该后面的语句，因此可以安全的查看执行计划。

EXPLAIN 语句输出的各个列的作用如下：

6.3 数据准备

建表

CREATE TABLE s1 (
id INT AUTO_INCREMENT,
key1 VARCHAR(100),
key2 INT,
key3 VARCHAR(100),
key_part1 VARCHAR(100),
key_part2 VARCHAR(100),
key_part3 VARCHAR(100),
common_field VARCHAR(100),
PRIMARY KEY (id),
INDEX idx_key1 (key1),
UNIQUE INDEX idx_key2 (key2),
INDEX idx_key3 (key3),
INDEX idx_key_part(key_part1, key_part2, key_part3)
) ENGINE=INNODB CHARSET=utf8;

CREATE TABLE s2 (
id INT AUTO_INCREMENT,
key1 VARCHAR(100),
key2 INT,
key3 VARCHAR(100),
key_part1 VARCHAR(100),
key_part2 VARCHAR(100),
key_part3 VARCHAR(100),
common_field VARCHAR(100),
PRIMARY KEY (id),
INDEX idx_key1 (key1),
UNIQUE INDEX idx_key2 (key2),
INDEX idx_key3 (key3),
INDEX idx_key_part(key_part1, key_part2, key_part3)
) ENGINE=INNODB CHARSET=utf8;

设置参数 log_bin_trust_function_creators

创建函数，假如报错，需开启如下命令：允许创建函数设置：

set global log_bin_trust_function_creators=1; # 不加global只是当前窗口有效。

创建函数

DELIMITER //

CREATE FUNCTION rand_string1 (n INT) RETURNS VARCHAR (255) #该函数会返回一个字符串
BEGIN
  DECLARE chars_str VARCHAR (100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ' ;
  DECLARE return_str VARCHAR (255) DEFAULT '' ;
  DECLARE i INT DEFAULT 0 ;
  WHILE
    i < n DO SET return_str = CONCAT(
      return_str,
      SUBSTRING(chars_str, FLOOR(1+ RAND() * 52), 1)
    ) ;
    SET i = i + 1 ;
  END WHILE ;
  RETURN return_str ;
END //

DELIMITER ;

创建存储过程

创建往s1表中插入数据的存储过程：

DELIMITER //

CREATE PROCEDURE insert_s1 (IN min_num INT (10), IN max_num INT (10)) 
BEGIN
  DECLARE i INT DEFAULT 0 ;
  SET autocommit = 0 ;
  REPEAT
    SET i = i + 1 ;
    INSERT INTO s1 
    VALUES
      (
        (min_num + i),
        rand_string1 (6),
        (min_num + 30 * i + 5),
        rand_string1 (6),
        rand_string1 (10),
        rand_string1 (5),
        rand_string1 (10),
        rand_string1 (10)
      ) ;
    UNTIL i = max_num 
  END REPEAT ;
  COMMIT ;
END //

DELIMITER ;

创建往s2表中插入数据的存储过程：

DELIMITER //

CREATE PROCEDURE insert_s2 (IN min_num INT (10), IN max_num INT (10)) 
BEGIN
  DECLARE i INT DEFAULT 0 ;
  SET autocommit = 0 ;
  REPEAT
    SET i = i + 1 ;
    INSERT INTO s2 
    VALUES
      (
        (min_num + i),
        rand_string1 (6),
        (min_num + 30 * i + 5),
        rand_string1 (6),
        rand_string1 (10),
        rand_string1 (5),
        rand_string1 (10),
        rand_string1 (10)
      ) ;
    UNTIL i = max_num 
  END REPEAT ;
  COMMIT ;
END //

DELIMITER ;

调用存储过程

s1表数据的添加：加入1万条记录：

CALL insert_s1(10001,10000);

s2表数据的添加：加入1万条记录：

CALL insert_s2(10001,10000);

6.4 EXPLAIN各列作用

为了让大家有比较好的体验，我们调整了下 EXPLAIN 输出列的顺序。

6.4.1 table

不论我们的查询语句有多复杂，里边儿 包含了多少个表 ，到最后也是需要对每个表进行 单表访问 的，所以MySQL规定EXPLAIN语句输出的每条记录都对应着某个单表的访问方法，该条记录的table列代表着该表的表名（有时不是真实的表名字，可能是简称）。

6.4.2 id

我们写的查询语句一般都以 SELECT 关键字开头，比较简单的查询语句里只有一个 SELECT 关键字，比如下边这个查询语句：

SELECT * FROM s1 WHERE key1 = 'a';

稍微复杂一点的连接查询中也只有一个 SELECT 关键字，比如：

SELECT * FROM s1 INNER JOIN s2
ON s1.key1 = s2.key1
WHERE s1.common_field = 'a';

看看下面的例子

例1:

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 = 'a';

只有一个select 并且只查了一张表. 所以只有一条记录,并且id为1;

例2:

mysql> EXPLAIN SELECT * FROM s1 INNER JOIN s2;

查询了两个表,两个记录, 只有一个select ,所以id都为1;

例3:

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2) OR key3 = 'a';

查询两张表. 并且是嵌套子查询, 两个select, 所以有两条记录,并且外查询id为1, 子查询id为2;

例4:

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key2 FROM s2 WHERE common_field
= 'a');

虽然也是一个嵌套子查询,,两个select 查询了两张表, 也有两条记录, 但是, 发现他们的id是一样的, 说明内部并没有使用子查询, sql优化器对这条sql进行了优化, 使用了连接查询, 所以id都为1;

例5:

mysql> EXPLAIN SELECT * FROM s1 UNION SELECT * FROM s2;

发现结果集中有三条记录, UNION 关键字拼接表的时候,需要进行去重操作, 需要生成临时表进行操作

例6:

mysql> EXPLAIN SELECT * FROM s1 UNION ALL SELECT * FROM s2;

UNION ALL 只需要简单的使两个结果集同时显示即可, 所以没有生成临时表

小结:

id如果相同，可以认为是一组，从上往下顺序执行
在所有组中，id值越大，优先级越高，越先执行
关注点：id号每个号码，表示一趟独立的查询, 一个sql的查询趟数越少越好

6.4.3 select_type

一条大的查询语句里边可以包含若干个SELECT关键字， 每个SELECT关键宇代表着一个小的查询语句，而每个SELECT关键字的FROM子句中都可以包含若干张表(这些表用来做连接查询)，每一张表都对应着执行计划输出中的一条记录，对于在同一个SELECT关键字中的表来说，它们的id值是相同的。

MySQL为每一个SELECT关键字代表的小查询都定义了一个称之为 select_type的属性，意思是我们只要知道了某个小查询的select_type属性,就知道了这个小查询在整个大查询中扮演了一个什么角色，我们看一下select_type都能取哪些值,请看官方文档:

具体分析如下：

例1(SIMPLE):

mysql> EXPLAIN SELECT * FROM s1;

当然，连接查询也算是 SIMPLE 类型，比如：

mysql> EXPLAIN SELECT * FROM s1 INNER JOIN s2;

例2( PRIMARY, UNION,UNION RESULT)

mysql> EXPLAIN SELECT * FROM s1 UNION SELECT * FROM s2;

对于 UNION , UNION ALL ,等的两个select的查询, 左边主查询, id为1 的一般查询类型为 PRIMARY

右边的为 UNION 类型, 而对于 UNION 查询, 需要创建临时表的查询类型为 UNION RESULT

例3 (SUBQUERY):

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2) OR key3 = 'a';

如果包含子查询的查询语句,不能转为对应的 semi-join 的形式, 并且该子查询是不相关子查询, 则该子查询的类型为SUBQUERY

例4( DEPENDENT SUBQUERY )

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2 WHERE s1.key2 =
s2.key2) OR key3 = 'a';

如果包含子查询的查询语句,不能转为对应的 semi-join 的形式, 并且该子查询是相关子查询, 则该子查询的类型为DEPENDENT SUBQUERY, 需要注意的是, DEPENDENT SUBQUERY 类型的子查询可能需要查询多次(根据外查询的查询数据进行查询)

例5 ( DEPENDENT UNION )

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2 WHERE key1 =
'a' UNION SELECT key1 FROM s1 WHERE key1 = 'b');  # in 查询 会被优化为 EXISTS 查询方式, 所以内部的子查询依赖外部数据

在包含、UNION 或者UNION ALL的大查询中，如果各个小查询都依赖于外层查询的话，那除了最左边的那个小查询之外，其余的小查询的、select type、的值就是、DEPENDENT UNION、(该例为s2表)

例6 ( DERIVED )

mysql> EXPLAIN SELECT * FROM (SELECT key1, count(*) as c FROM s1 GROUP BY key1) AS
derived_s1 where c > 1;

对于包含派生表的查询，该派生表对应的子查询的、 select type 就是 DERIVED

例7 (MATERIALIZED)

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2);

in 后面的条件来源于对s2表的查询, 即对s2 表的结果物化 , 即类型为MATERIALIZED, 并且可以看到,子查询类型为 subquery 的所查询的表就是物化表

**UNCACHEABLE SUBQUERY (不常用) **

UNCACHEABLE UNION(不常用)

6.4.4 partitions

代表分区表中的命中情况，非分区表,该项为NULL。一般情况下我们的查询语句的执行计划的partitions列的值都是NUL。

文档: https://dev.mysql.com/doc/refman/5.7/en/alter-table-partition-operations.html

6.4.5 type

执行计划的一条记录就代表着MySQL对某个表的执行查询时的访问方法，又称“访问类型”，其中的type列就表明了这个访问方法是啥，是较为重要的一个指标。比如，看到type列的值是ref，表明MySQL即将使用ref访问方法来执行对s1表的查询。

完整的访问方法如下： system ， const ， eq_ref ， ref ， fulltext ， ref_or_null ， index_merge ， unique_subquery ， index_subquery ， range ， index ， ALL 。

我们详细解释一下：

system

当表中只有一条记录并且该表使用的存储引擎的统计数据是精确的，比如MyISAM、Memory,那么对该表的访问方法就是system.

mysql> CREATE TABLE t(i int) Engine=MyISAM;
Query OK, 0 rows affected (0.05 sec)

mysql> INSERT INTO t VALUES(1);
Query OK, 1 row affected (0.01 sec)

然后我们看一下查询这个表的执行计划：

mysql> EXPLAIN SELECT * FROM t;

但是如果使用 innodb 存储引擎则不是

const

当我们根据主键或者唯一二级索引列与常数进行等值匹配时，对单表的访问方法就是const

mysql> EXPLAIN SELECT * FROM s1 WHERE id = 10005;

eq_ref

在连接查询时，如果被驱动表是通过主键或者唯一二级索引列等值匹配的方式进行访问的 (如果该主键或者唯一二级索引是联合索引的话，所有的索引列都必须进行等值比较)，则对该被驱动表的访问方法就是 eq_ref

mysql> EXPLAIN SELECT * FROM s1 INNER JOIN s2 ON s1.id = s2.id;

从执行计划的结果中可以看出，MySQL打算将s2作为驱动表，s1作为被驱动表，重点关注s1的访问方法是 eq_ref ，表明在访问s1表的时候可以 通过主键的等值匹配 来进行访问。

ref

当通过普通的二级索引列与常量进行等值匹配时来查询某个表，那么对该表的访问方法就可能是ref

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 = 'a';  # key1 是普通索引不是主键也不是唯一

fulltext

全文索引
ref_or_null

当对普通二级索引进行等值匹配查询，该索引列的值也可以是NULL值时那么对该表的访问方法就可能是 ref_or_null

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 = 'a' OR key1 IS NULL;

index_merge

两个索引查询数据合并的情况

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 = 'a' OR key3 = 'a';

从执行计划的 type 列的值是 index_merge 就可以看出，MySQL 打算使用索引合并的方式来执行对 s1 表的查询。

unique_subquery , index_subquery

unique_subquery. 是针对在一些包含 IN子查询的查询语句中，如果查询优化器决定将IN子查询转换为EXISTS子查询，而且子查询可以使用到主键进行等值匹配的话，那么该子查询执行计划的 type 列的值就是 unique_ subquery , 如果非主键,非唯一索引则是index_subquery

mysql> EXPLAIN SELECT * FROM s1 WHERE key2 IN (SELECT id FROM s2 where s1.key1 =
s2.key1) OR key3 = 'a';  # in子查询被转换为 exists查询, 并且子查询使用了外部的主键或唯一索引作为查询条件

range

如果使用索引获取某些范围区间的记录，那么就可能使用到“range'访问方法

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 IN ('a', 'b', 'c');

或者：

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 > 'a' AND key1 < 'b';

index

#  key_part1, key_part2, key_part3, 共同组成联合索引, 如果光使用 key_part3作为筛选条件,是无法使用 联合索引的
# 但是 查询条件也为此索引的数据, 所以只用全盘扫描此联合索引即可, 无需回表查询主键索引
mysql> EXPLAIN SELECT key_part2 FROM s1 WHERE key_part3 = 'a';

ALL

没有使用索引,全表扫描

mysql> EXPLAIN SELECT * FROM s1;

一般来说，这些访问方法中除了All这个访问方法外，其余的访问方法都能用到索引，除了index_merge访问方法外，其余的访问方法都最多只能用到一个索引。

小结：结果值从最好到最坏依次是： system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL

其中比较重要的几个提取出来。SQL 性能优化的目标：至少要达到 range 级别，要求是 ref 级别，最好是 consts级别。（阿里巴巴开发手册要求）

6.4.6 possible_keys和key

在EXPLAIN语句输出的执行计划中，possible_keys 列表示在某个查询语句中,对某个表执行单表查询时可能用到的索引有哪些。一般查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询使用。key 列表示实际用到的索引有哪些,如果为NULL,则没有使用索引。比方说下边这个查询:

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 > 'z' AND key3 = 'a';

上述执行计划的possible_keys列的值是idx_key1, idx_key3，表示该查询可能使用到idx_key1, idx_key3两个索引，然后key列的值是idx_key3，表示经过查询优化器计算使用不同索引的成本后，最后决定使用idx_key3 作为索引, ( possible_key的选项不是越多越好, 越多代表查询优化器需要选择的成本就越高, 并且实际使用的索引也不一定就是possible_key 下的索引 )

6.4.7 key_len

key_len: 实际使用到的索引长度(即: 字节数)
帮你检查是否充分的利用上了索引, (值越大越好,主要针对于联合索引，有一定的参考意义)。

mysql> EXPLAIN SELECT * FROM s1 WHERE key_part1 = 'a'; # 使用了联合索引的一个

mysql> EXPLAIN SELECT * FROM s1 WHERE key_part1 = 'a' AND key_part2 = 'b'; #使用了两个

key_len的长度计算公式：

varchar(10)变长字段且允许NULL = 10 * ( character set：utf8=3,gbk=2,latin1=1)+1(NULL)+2(变长字段)

varchar(10)变长字段且不允许NULL = 10 * ( character set：utf8=3,gbk=2,latin1=1)+2(变长字段)

char(10)固定字段且允许NULL = 10 * ( character set：utf8=3,gbk=2,latin1=1)+1(NULL)

char(10)固定字段且不允许NULL = 10 * ( character set：utf8=3,gbk=2,latin1=1)

6.4.8 ref

ref:当使用索引列等值查询时，与索引列进行等值匹配的对象信息。
比如只是一个常数或者是某个列。

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 = 'a'; # 和字符串a等值比较

mysql> EXPLAIN SELECT * FROM s1 INNER JOIN s2 ON s1.id = s2.id; # 和另外一个对象的某一列进行比较

mysql> EXPLAIN SELECT * FROM s1 INNER JOIN s2 ON s2.key1 = UPPER(s1.key1); # 和函数值比较

6.4.9 rows

预估的需要读取的记录条数, 值越小越好

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 > 'z';  # 预估的值越小 说明需要加载的页就越少

6.4.10 filtered

某个表经过搜索条件过滤后剩余记录条数的百分比

如果使用的是索引执行的单表扫描，那么计算时需要估计出满足除使用到对应索引的搜索条件外的其他搜索条件的记录有多少条。

根据二级索引查询出满足条件的数据后, 进行回表时, 查询主索引满足最终所以条件的比例, 因为一次查询一般只能利用到一个索引,所以其他条件需要回表时判断

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 > 'z' AND common_field = 'a';

如图, 这里俩个筛选条件, 使用了 idx_key1 索引进行二级索引查询, 在通过二级索引的匹配结果, 进行回表, 并同时匹配common_field = 'a' 的条件, filtered = 实际最终返回的记录数 / 二级索引匹配数,

对于单表查询来说，这个filtered列的值没什么意义，我们更关注在连接查询中驱动表对应的执行计划记录的filtered值, 它决定了被驱动表要执行的次数 (即: rows * filtered)

mysql> EXPLAIN SELECT * FROM s1 INNER JOIN s2 ON s1.key1 = s2.key1 WHERE
s1.common_field = 'a';

从执行计划中可以看出来，查询优化器打算把s1当作驱动表，s2 当作被驱动表。我们可以看到驱动表s1表的执行计划的rows列为9688，filtered列为 10.00,这意味着驱动表s1的扇出值就是9688 x 10.00% =968.8, 这说明还要对被驱动表执行大约968次查询。

6.4.11 Extra

顾名思义，Extra 列是用来说明一些额外信息的，包含不适合在其他列中显示但十分重要的额外信息。我们可以通过这些额外信息来更准确的理解MySQL到底将如何执行给定的查询语句。MySQL提供的额外信息有好几十个，我们就不一个一个介绍了，所以我们只挑比较重要的额外信息介绍给大家。

No tables used

mysql> EXPLAIN SELECT 1; # 没有使用表

Impossible WHERE

查询语句的、WHERE子句永远为、FALSE、时将会提示该额外信息

mysql> EXPLAIN SELECT * FROM s1 WHERE 1 != 1;

Using where

当我们使用全表扫描来执行对某个表的查询，并且该语句的WHERE子句中有针对该表的搜索条件时，在Extra列中会提示上述额外信息。

mysql> EXPLAIN SELECT * FROM s1 WHERE common_field = 'a';

当使用索引访问来执行对某个表的查询，并且该语句的WHERE子句中有除了该索引包含的列之外的其他搜索条件时，在Extra列中也会提示上述额外信息。

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 = 'a' AND common_field = 'a';

No matching min/max row

当查询列表处有、MIN或者、MAX聚合函数，但是并没有符合WHERE子句中的搜索条件的记录时，将会提示该额外信息

mysql> EXPLAIN SELECT MIN(key1) FROM s1 WHERE key1 = 'abcdefg';

Using index

当我们的查询列表以及搜索条件中只包含属于某个索引的列，也就是在可以使用覆盖索引的情况下，在Extra 列将会提示该额外信息。比方说下边这个查询中只需要用到idx_key, 而不需要回表操作 (覆盖索引) :

mysql> EXPLAIN SELECT key1 FROM s1 WHERE key1 = 'a'; # 查询条件和查询列 可以同时来源于同一个索引

Using index condition

有些搜索条件中虽然出现了索引列，但却不能使用到索引

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 > 'z' AND key1 LIKE '%b';  # 虽然能使用到key1索引, 但是对于后缀模糊匹配,所以 key1 LIKE '%b' 没有使用索引,而是回表时进行匹配

Using join buffer (Block Nested Loop)

在连接查询执行过程中，当被驱动表不能有效的利用索引加快访问速度，MySQL一般会为其分配一块名叫join buffer 的内存块来加快查询速度，也就是我们所讲的基于块的嵌套循环算法、

mysql> EXPLAIN SELECT * FROM s1 INNER JOIN s2 ON s1.common_field =
s2.common_field;

Not exists

当我们使用左(外)连接时，如果WHERE、子句中包含要求被驱动表的某个列等于、NULL值的搜索条件，而且那个列又是不允许存储、NULL值的，那么在该表的执行计划的Extra列就会提示Not exists额外信息

mysql> EXPLAIN SELECT * FROM s1 LEFT JOIN s2 ON s1.key1 = s2.key1 WHERE s2.id IS
NULL;

Using intersect(...) 、 Using union(...) 和 Using sort_union(...)

如果执行计划的Extra列出现了 Using intersect (...) 提示，说明准备使用 Intersect 索引合并的方式执行查询，括号中的...表示需要进行索引合并的索引名称:

如果出现了Using union(...)提示, 说明准备使用Union 索引合并的方式执行查询;

出现了 Using sort_union(...)、提示，说明准备使用、Sort-Union 索引合并的方式执行查询。

mysql> EXPLAIN SELECT * FROM s1 WHERE key1 = 'a' OR key3 = 'a';

Zero limit

当我们的、LIMIT子句的参数为0时，表示压根儿不打算从表中读出任何记录，将会提示该额外信息

mysql> EXPLAIN SELECT * FROM s1 LIMIT 0;

Using filesort

mysql> EXPLAIN SELECT * FROM s1 ORDER BY key1 LIMIT 10;

这个查询语句可以利用idx_key1索引直接取出key1列的10条记录,然后再进行回表操作就好了。但是很多情况下排序操作无法使用到索引，只能在内存中(记录较少的时候)或者磁盘中(记录较多的时候)进行排序，MySQL把这种在内存中或者磁盘上进行排序的方式统称为文件排序(英文名: filesort) 。如果某个查询需要使用文件排序的方式执行查询，就会在执行计划的Extra列中显示Using filesort 提示，比如这样:

mysql> EXPLAIN SELECT * FROM s1 ORDER BY common_field LIMIT 10;

Using temporary

在许多查询的执行过程中，MySQI可能会借助临时表来完成一些功能，比如去重、排序之类的，比如我们在执行许多包含、DISTINCT、、GROUP BY、UNION等子句的查询过程中，如果不能有效利用索引来完成查询，MySQL很有可能寻求通过建立内部的临时表来执行查询。如果查询中使用到了内部的临时表，在执行计划的、Extra 列将会显示Using temporaryi提示

mysql> EXPLAIN SELECT DISTINCT common_field FROM s1;

再比如：

mysql> EXPLAIN SELECT common_field, COUNT(*) AS amount FROM s1 GROUP BY common_field;

mysql> EXPLAIN SELECT key1, COUNT(*) AS amount FROM s1 GROUP BY key1

从 Extra 的 Using index 的提示里我们可以看出，上述查询只需要扫描 idx_key1 索引就可以搞定了，不再需要临时表了。

6.4.12 小结

EXPLAIN不考虑各种Cache
EXPLAIN不能显示MySQL在执行查询时所作的优化工作
EXPLAIN不会告诉你关于触发器、存储过程的信息或用户自定义函数对查询的影响情况
部分统计信息是估算的，并非精确值

7 EXPLAIN的进一步使用

7.1 EXPLAIN四种输出格式

这里谈谈EXPLAIN的输出格式。EXPLAIN可以输出四种格式：传统格式， JSON格式， TREE格式以及可视化输出。用户可以根据需要选择适用于自己的格式。

7.1.1 . 传统格式

传统格式简单明了，输出是一个表格形式，概要说明查询计划。

mysql> EXPLAIN SELECT s1.key1, s2.key1 FROM s1 LEFT JOIN s2 ON s1.key1 = s2.key1 WHERE
s2.common_field IS NOT NULL;

7.1.2 JSON格式

第1种格式中介绍的EXPLAIN语句输出中缺少了一个衡量执行计划好坏的重要属性- -成本。而JSON格式是四种格式里面输出信息最详尽的格式，里面包含了执行的成本信息。

JSON格式：在EXPLAIN单词和真正的查询语句中间加上 FORMAT=JSON 。

EXPLAIN FORMAT=JSON SELECT ....

EXPLAIN的Column与JSON的对应关系: (来源于MySQL 5.7文档)

这样我们就可以得到一个json格式的执行计划，里面包含该计划花费的成本

7.1.3 TREE格式

TREE格式是8.0.16版本之后引入的新格式，主要根据查询的各个部分之间的关系和各部分的执行顺序来描述如何查询。

mysql> EXPLAIN FORMAT=tree SELECT * FROM s1 INNER JOIN s2 ON s1.key1 = s2.key2 WHERE
s1.common_field = 'a'\G
*************************** 1. row ***************************
EXPLAIN: -> Nested loop inner join (cost=1360.08 rows=990)
-> Filter: ((s1.common_field = 'a') and (s1.key1 is not null)) (cost=1013.75
rows=990)
-> Table scan on s1 (cost=1013.75 rows=9895)
-> Single-row index lookup on s2 using idx_key2 (key2=s1.key1), with index
condition: (cast(s1.key1 as double) = cast(s2.key2 as double)) (cost=0.25 rows=1)
1 row in set, 1 warning (0.00 sec)

7.1.4 可视化输出

可视化输出，可以通过MySQL Workbench可视化查看MySQL的执行计划。通过点击Workbench的放大镜图标，即可生成可视化的查询计划。

上图按从左到右的连接顺序显示表。红色框表示全表扫描，而绿色框表示使用索引查找。对于每个表，显示使用的索引。还要注意的是，每个表格的框上方是每个表访问所发现的行数的估计值以及访问该表的成本。

7.2 SHOW WARNINGS的使用

在我们使用EXPLAIN语句查看了某个查询的执行计划后，紧接着还可以使用SHOW WARNINGS 语句查看与这个查询的执行计划有关的一-些扩展信息，比如这样:

mysql> EXPLAIN SELECT s1.key1, s2.key1 FROM s1 LEFT JOIN s2 ON s1.key1 = s2.key1 WHERE
s2.common_field IS NOT NULL;

紧接着执行,

mysql> SHOW WARNINGS\G
*************************** 1. row ***************************
Level: Note
Code: 1003
Message: /* select#1 */ select `atguigu`.`s1`.`key1` AS `key1`,`atguigu`.`s2`.`key1`
AS `key1` from `atguigu`.`s1` join `atguigu`.`s2` where ((`atguigu`.`s1`.`key1` =
`atguigu`.`s2`.`key1`) and (`atguigu`.`s2`.`common_field` is not null))
1 row in set (0.00 sec)

大家可以看到SHOW WARNINGS 展示出来的信息有三个字段，分别是Level、Code、 Messaye。我们最常见就是Code为1003的信息，当Code值为1003时， Message 字段展示的信息类似于查询优化器将我们的查询语句重写后的语句。比如我们上边的查询本来是一个左(外)连接查询，但是有一个s2.common_field IS NOT NULL的条件,这就会导致查询优化器把左(外)连接查询优化为内连接查询，从SHOW WARNINGS 的Message字段也可以看出来，原本的LEFT JOIN已经变成了JOIN。

8. 分析优化器执行计划：trace

OPTIMIZER_TRACE是MySQL 5.6引入的一项跟踪功能，它可以跟踪优化器做出的各种决策(比如访问表的方法、各种开销计算、各种转换等)，并将跟踪结果记录到INFORMATION_SCHEMA.OPTIMIZER_TRACE表中。此功能默认关闭。开启trace, 并设置格式为JSON，同时设置trace最大能够使用的内存大小，避免解析过程中因为默认内存过小而不能够完整展示。

SET optimizer_trace="enabled=on",end_markers_in_json=on;

set optimizer_trace_max_mem_size=1000000;

开启后，可分析如下语句：

SELECT
INSERT
REPLACE
UPDATE
DELETE
EXPLAIN
SET
DECLARE
CASE
IF
RETURN
CALL

测试：执行如下SQL语句

select * from student where id < 10;

最后，查询 information_schema.optimizer_trace 就可以知道MySQL是如何执行SQL的：

select * from information_schema.optimizer_trace\G

** ** ** ** ** ** ** ** ** ** ** ** ** * 1. row ** ** ** ** ** ** ** ** ** ** ** ** ** *
	//第1部分：查询语句
	QUERY: select * from student where id < 10
//第2部分：QUERY字段对应语句的跟踪信息
TRACE: {
	"steps": [{
			"join_preparation": { //预备工作
				"select#": 1,
				"steps": [{
					"expanded_query": "/* select#1 */ select `student`.`id` AS
					`id`,
					`student`.
					`stuno`
					AS `stuno`,
					`student`.
					`name`
					AS `name`,
					`student`.
					`age`
					AS `age`,
					`student`.
					`classId`
					AS `classId`
					from `student`
					where(`student`.
						`id` < 10)
					"
				}] /* steps */
			} /* join_preparation */
		},
		{
			"join_optimization": { //进行优化
				"select#": 1,
				"steps": [{
						"condition_processing": { //条件处理
							"condition": "WHERE",
							"original_condition": "(`student`.`id` < 10)",
							"steps": [{
									"transformation": "equality_propagation",
									"resulting_condition": "(`student`.`id` < 10)"
								},
								{
									"transformation": "constant_propagation",
									"resulting_condition": "(`student`.`id` < 10)"
								},
								{
									"transformation": "trivial_condition_removal",
									"resulting_condition": "(`student`.`id` < 10)"
								}
							] /* steps */
						} /* condition_processing */
					},
					{
						"substitute_generated_columns": { //替换生成的列
						} /* substitute_generated_columns */
					},
					{
						"table_dependencies": [ //表的依赖关系
							{
								"table": "`student`",
								"row_may_be_null": false,
								"map_bit": 0,
								"depends_on_map_bits": [] /* depends_on_map_bits */
							}
						] /* table_dependencies */
					},
					{
						"ref_optimizer_key_uses": [ //使用键
						] /* ref_optimizer_key_uses */
					},
					{
						"rows_estimation": [ //行判断
							{
								"table": "`student`",
								"range_analysis": {
									"table_scan": {
										"rows": 3973767,
										"cost": 408558
									} /* table_scan */ , //扫描表
									"potential_range_indexes": [ //潜在的范围索引
										{
											"index": "PRIMARY",
											"usable": true,
											"key_parts": [
												"id"
											] /* key_parts */
										}
									] /* potential_range_indexes */ ,
									"setup_range_conditions": [ //设置范围条件
									] /* setup_range_conditions */ ,
									"group_index_range": {
										"chosen": false,
										"cause": "not_group_by_or_distinct"
									} /* group_index_range */ ,
									"skip_scan_range": {
										"potential_skip_scan_indexes": [{
											"index": "PRIMARY",
											"usable": false,
											"cause": "query_references_nonkey_column"
										}] /* potential_skip_scan_indexes */
									} /* skip_scan_range */ ,
									"analyzing_range_alternatives": { //分析范围选项
										"range_scan_alternatives": [{
											"index": "PRIMARY",
											"ranges": [
												"id < 10"
											] /* ranges */ ,
											"index_dives_for_eq_ranges": true,
											"rowid_ordered": true,
											"using_mrr": false,
											"index_only": false,
											"rows": 9,
											"cost": 1.91986,
											"chosen": true
										}] /* range_scan_alternatives */ ,
										"analyzing_roworder_intersect": {
											"usable": false,
											"cause": "too_few_roworder_scans"
										} /* analyzing_roworder_intersect */
									} /* analyzing_range_alternatives */ ,
									"chosen_range_access_summary": { //选择范围访问摘要
										"range_access_plan": {
											"type": "range_scan",
											"index": "PRIMARY",
											"rows": 9,
											"ranges": [
												"id < 10"
											] /* ranges */
										} /* range_access_plan */ ,
										"rows_for_plan": 9,
										"cost_for_plan": 1.91986,
										"chosen": true
									} /* chosen_range_access_summary */
								} /* range_analysis */
							}
						] /* rows_estimation */
					},
					{
						"considered_execution_plans": [ //考虑执行计划
							{
								"plan_prefix": [] /* plan_prefix */ ,
								"table": "`student`",
								"best_access_path": { //最佳访问路径
									"considered_access_paths": [{
										"rows_to_scan": 9,
										"access_type": "range",
										"range_details": {
											"used_index": "PRIMARY"
										} /* range_details */ ,
										"resulting_rows": 9,
										"cost": 2.81986,
										"chosen": true
									}] /* considered_access_paths */
								} /* best_access_path */ ,
								"condition_filtering_pct": 100, //行过滤百分比
								"rows_for_plan": 9,
								"cost_for_plan": 2.81986,
								"chosen": true
							}
						] /* considered_execution_plans */
					},
					{
						"attaching_conditions_to_tables": { //将条件附加到表上
							"original_condition": "(`student`.`id` < 10)",
							"attached_conditions_computation": [] /* attached_conditions_computation */ ,
							"attached_conditions_summary": [ //附加条件概要
								{
									"table": "`student`",
									"attached": "(`student`.`id` < 10)"
								}
							] /* attached_conditions_summary */
						} /* attaching_conditions_to_tables */
					},
					{
						"finalizing_table_conditions": [{
							"table": "`student`",
							"original_table_condition": "(`student`.`id` < 10)",
							"final_table_condition ": "(`student`.`id` < 10)"
						}] /* finalizing_table_conditions */
					},
					{
						"refine_plan": [ //精简计划
							{
								"table": "`student`"
							}
						] /* refine_plan */
					}
				] /* steps */
			} /* join_optimization */
		},
		{
			"join_execution": { //执行
				"select#": 1,
				"steps": [] /* steps */
			} /* join_execution */
		}
	] /* steps */
}
//第3部分：跟踪信息过长时，被截断的跟踪信息的字节数。
MISSING_BYTES_BEYOND_MAX_MEM_SIZE: 0 //丢失的超出最大容量的字节
//第4部分：执行跟踪语句的用户是否有查看对象的权限。当不具有权限时，该列信息为1且TRACE字段为空，一般在
调用带有SQL SECURITY DEFINER的视图或者是存储过程的情况下， 会出现此问题。
INSUFFICIENT_PRIVILEGES: 0 //缺失权限
1 row in set(0.00 sec)

9. MySQL监控分析视图-sys schema

关于MySQL的性能监控和问题诊断，我们一-般都从performance_ schema中去获取想要的数据，在MySQL5.7.7版本中新增sys schema,它将performance_ schema和information_ schema中的数据以更容易理解的方式总结归纳为"视图”，其目的就是为了降低查询per formance_ schema的复杂度，让DBA能够快速的定位问题。下面看看这些库中都有哪些监控表和视图,掌握了这些，在我们开发和运维的过程中就起到了事半功倍的效果。

9.1 Sys schema视图摘要

主机相关：以host_summary开头，主要汇总了IO延迟的信息。
Innodb相关：以innodb开头，汇总了innodb buffer信息和事务等待innodb锁的信息。
I/o相关：以io开头，汇总了等待I/O、I/O使用量情况。
内存使用情况：以memory开头，从主机、线程、事件等角度展示内存的使用情况
连接与会话信息：processlist和session相关视图，总结了会话相关信息。
表相关：以schema_table开头的视图，展示了表的统计信息。
索引信息：统计了索引的使用情况，包含冗余索引和未使用的索引情况。
语句相关：以statement开头，包含执行全表扫描、使用临时表、排序等的语句信息。
用户相关：以user开头的视图，统计了用户使用的文件I/O、执行语句统计信息。
等待事件相关信息：以wait开头，展示等待事件的延迟情况。

9.2 Sys schema视图使用场景

索引情况

#1. 查询冗余索引
select * from sys.schema_redundant_indexes;

#2. 查询未使用过的索引
select * from sys.schema_unused_indexes;

#3. 查询索引的使用情况
select index_name,rows_selected,rows_inserted,rows_updated,rows_deleted
from sys.schema_index_statistics where table_schema='dbname' ;

表相关

# 1. 查询表的访问量
select table_schema,table_name,sum(io_read_requests+io_write_requests) as io from
sys.schema_table_statistics group by table_schema,table_name order by io desc;

# 2. 查询占用bufferpool较多的表
select object_schema,object_name,allocated,data
from sys.innodb_buffer_stats_by_table order by allocated limit 10;

# 3. 查看表的全表扫描情况
select * from sys.statements_with_full_table_scans where db='dbname';

语句相关

#1. 监控SQL执行的频率
select db,exec_count,query from sys.statement_analysis
order by exec_count desc;

#2. 监控使用了排序的SQL
select db,exec_count,first_seen,last_seen,query
from sys.statements_with_sorting limit 1;

#3. 监控使用了临时表或者磁盘临时表的SQL
select db,exec_count,tmp_tables,tmp_disk_tables,query
from sys.statement_analysis where tmp_tables>0 or tmp_disk_tables >0
order by (tmp_tables+tmp_disk_tables) desc;

IO相关

#1. 查看消耗磁盘IO的文件
select file,avg_read,avg_write,avg_read+avg_write as avg_io
from sys.io_global_by_file_by_bytes order by avg_read limit 10;

Innodb 相关

#1. 行锁阻塞情况
select * from sys.innodb_lock_waits;

风险提示:
通过sys库去查询时，MySQL会消耗大量资源去收集相关信息，严重的可能会导致业务请求被阻塞，从而引起故障。建议生产上不要频繁的去查询sys或者performance_ schema、 information_ schema来完成监控、巡检等工作。

posted @ 2022-06-24 16:53 哈哈丶丶阅读(220) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

哈哈丶丶

个人网站： www.qydp.net，提供公司吐槽评价，欢迎访问