mysql高级教程(二)-----性能分析

MySQL常见瓶颈

1、cpu

SQL中对大量数据进行比较、关联、排序、分组

2、IO

a、实例内存满足不了缓存数据或排序等需要，导致产生大量物理 IO。

b、查询执行效率低，扫描过多数据行。

3、锁

a、不适宜的锁的设置，导致线程阻塞，性能下降。

b、死锁，线程之间交叉调用资源，导致死锁，程序卡住。

4、服务器硬件的性能瓶颈

top,free, iostat和vmstat来查看系统的性能状态

Explain(执行计划)

概念

使用EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的，分析你的查询语句或是表结构的性能瓶颈。

能干嘛

• 表的读取顺序
• 哪些索引可以使用
• 数据读取操作的操作类型
• 哪些索引被实际使用
• 表之间的引用
• 每张表有多少行被优化器查询

使用方法

Explain + SQL语句

explain select * from tb1_emp;

字段解释

id

select查询的序列号,包含一组数字，表示查询中执行select子句或操作表的顺序

示例：

三种情况：

• id相同，执行顺序由上至下-----id相同，执行顺序由上至下  此例中 先执行where 后的第一条语句 t1.id = t2.id 通过 t1.id 关联 t2.id 。 而  t2.id 的结果建立在 t2.id=t3.id 的基础之上。 
• id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行-----  id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行  
• id相同不同，同时存在-----    id如果相同，可以认为是一组，从上往下顺序执行；在所有组中，id值越大，优先级越高，越先执行 衍生表 = derived2 --> derived + 2 （2 表示由 id =2 的查询衍生出来的表。type 肯定是 all ，因为衍生的表没有建立索引）

select_type 

查询的类型，主要是用于区别普通查询、联合查询、子查询等的复杂查询。

常用类型：

SIMPLE

简单的 select 查询,查询中不包含子查询或者UNION

PRIMARY 

查询中若包含任何复杂的子部分，最外层查询则被标记为Primary 

DERIVED

在FROM列表中包含的子查询被标记为DERIVED(衍生).MySQL会递归执行这些子查询, 把结果放在临时表里。 -----DERIVED 既查询通过子查询查出来的 临时表

SUBQUERY 

在SELECT或WHERE列表中包含了子查询

DEPENDENT SUBQUERY

在SELECT或WHERE列表中包含了子查询,子查询基于外层-----dependent subquery 与 subquery 的区别依赖子查询 ： 子查询结果为多值子查询：查询结果为单值 

UNCACHEABLE SUBQUREY

无法被缓存的子查询

UNION

若第二个SELECT出现在UNION之后，则被标记为UNION；若UNION包含在FROM子句的子查询中,外层SELECT将被标记为：DERIVED-----UNION RESULT 两个语句执行完后的结果

UNION RESULT

从UNION表获取结果的SELECT从UNION表获取结果的SELECT

table

显示这一行的数据是关于哪张表的

type

显示查询使用了何种类型，是较为重要的一个指标，结果值从最好到最坏依次是：  system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range(尽量保证) > index > ALL

从最好到最差依次是(通常记下面这个)：
system>const>eq_ref>ref>range>index>ALL

 一般来说，得保证查询至少达到range级别，最好能达到ref。

possible_keys

显示可能应用在这张表中的索引，一个或多个。查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询实际使用

key

实际使用的索引。如果为NULL，则没有使用索引。

key_len

表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度。能够帮你检查是否充分的利用上了索引。在不损失精度的情况下，越短越好。

ref

显示索引的哪一列被使用了，如果可能的话，是一个常数。哪些列或常量被用于查找索引列上的值。

rows

rows列显示MySQL认为它执行查询时必须检查的行数。

Extra

包含不适合在其他列中显示但十分重要的额外信息。

索引优化

索引失效

避免索引失效则是查询优化

1、全值匹配我最爱

当建立复合索引时。比如a、b、c三个字段，最好查询的时候带上a、b、c，并且a一定要有，带头大哥不能死，否则全表扫描。(结合下面的最佳左前缀法则)

2、最佳左前缀法则

如果索引了多列(复合索引或叫联合索引)，要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。-----中间兄弟不能断

3、不在索引列上做任何操作（计算、函数、(自动or手动)类型转换），会导致索引失效而转向全表扫描。-----索引列上无计算

4、存储引擎不能使用索引中范围条件右边的列-----若有索引则能使用到索引，范围条件右边的索引会失效(范围条件右边与范围条件使用的同一个组合索引，右边的才会失效。若是不同索引则不会失效)-----范围之后全失效

对于上例，age以及pos的索引都不能使用。

 5、尽量使用覆盖索引(只访问索引的查询(索引列和查询列一致))，减少select *。

 6、mysql 在使用不等于(!= 或者<>)的时候无法使用索引会导致全表扫描

 7、is null、is not null 也无法使用索引

 8、like以通配符开头('%abc...')mysql索引失效会变成全表扫描的操作-----%写在右边可以避免全表扫描。或者使用覆盖索引(比如name、age建了索引，只查询这两列的值出来，并且顺序也要一样)

9、字符串不加单引号索引失效 ----- 底层进行转换使索引失效，使用了函数造成索引失效(隐式转换)

10、少用or,用它来连接时会索引失效 

案例总结： 

 

一般性建议

1、对于单键索引，尽量选择针对当前query过滤性更好的索引

2、在选择组合索引的时候，当前Query中过滤性最好的字段在索引字段顺序中，位置越靠左越好。(避免索引过滤性好的索引失效)

3、在选择组合索引的时候，尽量选择可以能够包含当前query中的where字句中更多字段的索引

4、尽可能通过分析统计信息和调整query的写法来达到选择合适索引的目的

查询优化 

永远小表驱动大表

即小的数据集驱动大的数据集。

order by关键字排序优化

1、ORDER BY子句，尽量使用Index方式排序,避免使用FileSort方式排序

MySQL支持二种方式的排序，FileSort和Index，Index效率高.它指MySQL扫描索引本身完成排序。FileSort方式效率较低。

ORDER BY满足两情况，会使用Index方式排序:

• a、ORDER BY 语句使用索引最左前列
• b、使用Where子句与Order BY子句条件列组合满足索引最左前列

注：where子句中如果出现索引的范围查询(即explain中出现range)会导致order by 索引失效。

2、尽可能在索引列上完成排序操作，遵照索引建的最佳左前缀

 

group by关键字排序优化 

1、group by实质是先排序后进行分组，遵照索引建的最佳左前缀 

2、当无法使用索引列，增大max_length_for_sort_data参数的设置+增大sort_buffer_size参数的设置

3、 where高于having，能写在where限定的条件就不要去having限定了。

慢查询日志 

概念

MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。 具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10秒以上的语句。 由他来查看哪些SQL超出了我们的最大忍耐时间值，比如一条sql执行超过5秒钟，我们就算慢SQL，希望能收集超过5秒的sql，结合之前explain进行全面分析。 

使用方式 

默认情况下，MySQL数据库没有开启慢查询日志，需要我们手动来设置这个参数。当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件 

默认：

SHOW VARIABLES LIKE '%slow_query_log%';

开启：

set global slow_query_log=1;

如何判断是慢sql

这个是由参数long_query_time控制，默认情况下long_query_time的值为10秒，命令：SHOW VARIABLES LIKE 'long_query_time%';可以使用命令修改，也可以在my.cnf参数里面修改。假如运行时间正好等于long_query_time的情况，并不会被记录下来。也就是说，在mysql源码里是判断大于long_query_time，而非大于等于。 

查询多少条慢sql

  show global status like '%Slow_queries%';  

mysqldumpslow

在生产环境中，如果要手工分析日志，查找、分析SQL，显然是个体力活，MySQL提供了日志分析工具mysqldumpslow。

mysqldumpslow --help