《Java架构师的第一性原理》41存储之MySQL第11篇数据库调优

1 MySQL死锁分析

1.1 InnoDB调试死锁的方法

1)【配置的确认与修改】

要测试InnoDB的锁互斥,以及死锁,有几个配置务必要提前确认:

  • 区间锁是否关闭

  • 事务自动提交(auto commit)是否关闭

  • 事务的隔离级别(isolation level)

间隙锁是否关闭

区间锁(间隙锁,临键锁)是InnoDB特有施加在索引记录区间的锁,MySQL5.6可以手动关闭区间锁,它由innodb_locks_unsafe_for_binlog参数控制:

  • 设置为ON,表示关闭区间锁,此时一致性会被破坏(所以是unsafe)

  • 设置为OFF,表示开启区间锁

事务自动提交

MySQL默认把每一个单独的SQL语句作为一个事务,自动提交。

事务的隔离级别

不同事务的隔离级别,InnoDB的锁实现是不一样。

-- 查询间隙锁是否关闭,默认为OFF
show global variables like "innodb_locks%";
-- 查询事务是否自动提交,默认为ON
show global variables like "autocommit";
-- 查询事务的隔离级别,默认为REPEATABLE-READ
show global variables like "tx_isolation";

-- 设置事务手动控制
set session autocommit=0;

-- 设置事务的隔离级别
set session transaction isolation level X;
X取:
read uncommitted
read committed
repeatable read
serializable 

2)做实验

超赞,InnoDB调试死锁的方法!

【实验一,间隙锁互斥】

【实验二,共享排他锁死锁】

【实验三,并发间隙锁的死锁】

锁的调试:

  • 并发事务,间隙锁可能互斥

(1)A删除不存在的记录,获取共享间隙锁;

(2)B插入,必须获得排他间隙锁,故互斥;

  • 并发插入相同记录,可能死锁(某一个回滚)

  • 并发插入,可能出现间隙锁死锁(难排查)

  • show engine innodb status; 可以查看InnoDB的锁情况,也可以调试死锁

2)工具1:查询锁的情况

show engine innodb status;

3)工具2:explain

explain update t set cell=456 where cell=55555555555;
explain update t set cell= '456 ' where cell= '55555555555 ';

死锁是MySQL中非常难调试的问题,常见的思路与方法有:

(1)通过多终端模拟并发事务,复现死锁;

(2)通过show engine innodb status; 可以查看事务与锁的信息;

(3)通过explain可以查看执行计划;

2 MySQL中索引失效的常见场景与规避方法

MySQL中索引失效的常见场景与规避方法

2.1 两类非常隐蔽的全表扫描,不能命中索引

第一类“列类型”与“where值类型”不符,不能命中索引,会导致全表扫描(full table scan)。

第二类相join的两个表的字符编码不同,不能命中索引,会导致笛卡尔积的循环计算(nested loop)。

2.2 数据库允许空值(null),往往是悲剧的开始

-- 1. 准备数据
create table user (
id int,
name varchar(20),
index(id)
)engine=innodb;
insert into user values(1,'shenjian');
insert into user values(2,'zhangsan');
insert into user values(3,'lisi');

-- 知识点1:负向查询不能命中索引,会导致全表扫描
explain select * from user where id!=1;

-- 插入id为NULL的一行记录
insert into user(name) values('wangwu');
-- 知识点2:允许空值,不等于(!=)查询,可能导致不符合预期的结果,建表时加上默认(default)值,这样能避免空值的坑;
explain select * from user where id!=1;
-- 预期结果有3条数据,实际只有2条数据
select * from user where id!=1;
-- 获取正确结果的SQL
select * from user where id!=1 or id is null;

-- 知识点3:某些or条件,又可能导致全表扫描,此时应该优化为union
explain select * from user where id=1;
explain select * from user where id is null;
explain select * from user where id=1 or id is null;
explain select * from user where id=1 
union
select * from user where id is null;

4 Explain查看执行计划

4.1 explain的type

create table user (
id int primary key,
name varchar(20)
)engine=innodb;
insert into user values(1,'shenjian');
insert into user values(2,'zhangsan');
insert into user values(3,'lisi');

create table user_ex (
id int primary key,
age int
)engine=innodb;
insert into user_ex values(1,18);
insert into user_ex values(2,20);
insert into user_ex values(3,30);
insert into user_ex values(4,40);
insert into user_ex values(5,50);

-- explain结果中的type字段,表示(广义)连接类型,它描述了找到所需数据使用的扫描方式
-- system
explain select * from mysql.time_zone;
explain select * from (select * from user where id=1) tmp;
-- const
explain select * from user where id = 1;
-- eq_ref
explain select * from user,user_ex where user.id=user_ex.id;
-- ref
explain select * from user,user_ex where user.id=user_ex.id;
-- range
explain select * from user where id between 1 and 4;
explain select * from user where id in(1,2,3);
explain select * from user where id>3;
-- index 
explain select count(*) from user;
-- ALL
explain select * from user,user_ex where user.id=user_ex.id;

4.2 explain的Extra

create table user (
id int primary key,
name varchar(20),
sex varchar(5),
index(name)
)engine=innodb;

insert into user values(1, 'shenjian','no');
insert into user values(2, 'zhangsan','no');
insert into user values(3, 'lisi', 'yes');
insert into user values(4, 'lisi', 'no');

-- explain的Extra字段
-- 【Using where】
explain select * from user where sex='no';
-- 【Using index】
explain select id,name from user where name='shenjian';
-- 【Using index condition】,如何优化为Using index呢?
explain select id,name,sex from user 
where name='shenjian';
-- 【Using filesort】
explain select * from user order by sex;
-- 【Using temporary】
explain select * from user group by name order by sex;
-- 【Using join buffer (Block Nested Loop)】
explain select * from user where id in(select id from user where sex='no');

4.3 回表查询和索引覆盖

1)什么是回表查询

所谓的回表查询,先定位主键值,再定位行记录,它的性能较扫一遍索引树更低。

2)什么是索引覆盖

只需要在一棵索引树上就能获取SQL所需的所有列数据,无需回表,速度更快。

3)如何实现索引覆盖?

常见的方法是:将被查询的字段,建立到联合索引里去。

-- Extra:Using index
explain select id,name from user where name='shenjian';
-- Extra:Using index condition
explain select id,name,sex from user where name='shenjian';
-- 把(name)单列索引升级为联合索引(name, sex)
create table user (
id int primary key,
name varchar(20),
sex varchar(5),
index(name, sex)
)engine=innodb;

4)哪些场景可以利用索引覆盖来优化SQL?

场景1:全表count查询优化

场景2:列查询回表优化

场景3:分页查询

5 慢查询定位

5.1 慢查询日志概念

      MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中。long_query_time的默认值为10,意思是运行10S以上的语句。默认情况下,Mysql数据库并不启动慢查询日志,需要我们手动来设置这个参数,当然,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件,也支持将日志记录写入数据库表。

5.2 慢查询日志相关参数

MySQL 慢查询的相关参数解释:slow_query_log :是否开启慢查询日志,1表示开启,0表示关闭。

slow_query_log    :是否开启慢查询日志,1表示开启,0表示关闭。
log-slow-queries  :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
long_query_time :慢查询阈值,当查询时间多于设定的阈值时,记录日志。
log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。
log_output:日志存储方式。log_output='FILE'表示将日志存入文件,默认值是'FILE'。log_output='TABLE'表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。MySQL数据<br>库支持同时两种日志存储方式,配置的时候以逗号隔开即可,如:log_output='FILE,TABLE'。日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源,因此对于需要启用慢查询日志,又需<br>要能够获得更高的系统性能,那么建议优先记录到文件。

慢查询日志配置

默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启,如下所示:

mysql> show variables like '%slow_query_log%';
+---------------------+------------------------------------------+
| Variable_name       | Value                                    |
+---------------------+------------------------------------------+
| slow_query_log      | OFF                                      |
| slow_query_log_file | /usr/local/mysql/data/localhost-slow.log |
+---------------------+------------------------------------------+
2 rows in set (0.00 sec)
 
mysql> set global slow_query_log=1;
Query OK, 0 rows affected (0.00 sec)
 
mysql> show variables like '%slow_query_log%';
+---------------------+------------------------------------------+
| Variable_name       | Value                                    |
+---------------------+------------------------------------------+
| slow_query_log      | ON                                       |
| slow_query_log_file | /usr/local/mysql/data/localhost-slow.log |
+---------------------+------------------------------------------+
2 rows in set (0.00 sec)
#使用set global slow_query_log=1开启了慢查询日志只对当前数据库生效,MySQL重启后则会失效。如果要永久生效,就必须修改配置文件my.cnf(其它系统变量也是如此)

修改my.cnf文件,增加或修改参数slow_query_log 和slow_query_log_file后,然后重启MySQL服务器,如下所示:

slow_query_log =1
slow_query_log_file=/usr/local/mysql/data/localhost-slow.log

mysql> show variables like 'slow_query%';
+---------------------+---------------------+
| Variable_name       | Value               |
+---------------------+---------------------+
| slow_query_log      | ON                  |
| slow_query_log_file | /usr/local/mysql/data/localhost-slow.log |
+---------------------+---------------------+
2 rows in set (0.00 sec)
 
mysql> #慢查询的参数slow_query_log_file ,它指定慢查询日志文件的存放路径,系统默认会给一个缺省的文件host_name-slow.log

      那么开启了慢查询日志后,什么样的SQL才会记录到慢查询日志里面呢? 这个是由参数long_query_time控制,默认情况下long_query_time的值为10秒,可以使用命令修改,也可以在my.cnf参数里面修改。关于运行时间正好等于long_query_time的情况,并不会被记录下来。也就是说,在mysql源码里是判断大于long_query_time,而非大于等于。从MySQL 5.1开始,long_query_time开始以微秒记录SQL语句运行时间,之前仅用秒为单位记录。如果记录到表里面,只会记录整数部分,不会记录微秒部分。

mysql> show variables like 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)
 
mysql>
mysql> set global long_query_time=4;
Query OK, 0 rows affected (0.00 sec)
 
mysql> show variables like 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)
 
mysql>

     如上所示,我修改了变量long_query_time,但是查询变量long_query_time的值还是10,难道没有修改到呢?注意:使用命令 set global long_query_time=4修改后,需要重新连接或新开一个会话才能看到修改值。你用show variables like 'long_query_time'查看是当前会话的变量值,你也可以不用重新连接会话,而是用show global variables like 'long_query_time'; 如下所示:

mysql> show variables like 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)

mysql> 
mysql> show global variables like 'long_query_time';
+-----------------+----------+
| Variable_name   | Value    |
+-----------------+----------+
| long_query_time | 4.000000 |
+-----------------+----------+
1 row in set (0.00 sec)

mysql>

log_output 参数是指定日志的存储方式。log_output='FILE'表示将日志存入文件,默认值是'FILE'。log_output='TABLE'表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。MySQL数据库支持同时两种日志存储方式,配置的时候以逗号隔开即可,如:log_output='FILE,TABLE'。日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源,因此对于需要启用慢查询日志,又需要能够获得更高的系统性能,那么建议优先记录到文件.

mysql> show variables like '%log_output%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output    | TABLE |
+---------------+-------+
1 row in set (0.00 sec)
 
mysql>

系统变量log-queries-not-using-indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。如果调优的话,建议开启这个选项。另外,开启了这个参数,其实使用full index scan的sql也会被记录到慢查询日志。

mysql> show variables like 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | OFF   |
+-------------------------------+-------+
1 row in set (0.00 sec)
  
mysql> set global log_queries_not_using_indexes=1;
Query OK, 0 rows affected (0.00 sec)
  
mysql> show variables like 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | ON    |
+-------------------------------+-------+
1 row in set (0.00 sec)
  
mysql>

系统变量log_slow_admin_statements表示是否将慢管理语句例如ANALYZE TABLE和ALTER TABLE等记入慢查询日志

mysql> show variables like 'log_slow_admin_statements';
+---------------------------+-------+
| Variable_name             | Value |
+---------------------------+-------+
| log_slow_admin_statements | OFF   |
+---------------------------+-------+
1 row in set (0.00 sec)

mysql>

另外,如果你想查询有多少条慢查询记录,可以使用系统变量。

mysql> show global status like '%slow_queries%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Slow_queries  | 0     |
+---------------+-------+
1 row in set (0.00 sec)

mysql>

5.3 日志分析工具mysqldumpslow

在实际生产环境中,如果要手工分析日志,查找、分析SQL,显然是个体力活,MySQL提供了日志分析工具mysqldumpslow

查看mysqldumpslow的帮助信息:

[root@DB-Server ~]# mysqldumpslow --help
Usage: mysqldumpslow [ OPTS... ] [ LOGS... ]
 
Parse and summarize the MySQL slow query log. Options are
 
  --verbose    verbose
  --debug      debug
  --help       write this text to standard output
 
  -v           verbose
  -d           debug
  -s ORDER     what to sort by (al, at, ar, c, l, r, t), 'at' is default
                al: average lock time
                ar: average rows sent
                at: average query time
                 c: count
                 l: lock time
                 r: rows sent
                 t: query time  
  -r           reverse the sort order (largest last instead of first)
  -t NUM       just show the top n queries
  -a           don't abstract all numbers to N and strings to 'S'
  -n NUM       abstract numbers with at least n digits within names
  -g PATTERN   grep: only consider stmts that include this string
  -h HOSTNAME  hostname of db server for *-slow.log filename (can be wildcard),
               default is '*', i.e. match all
  -i NAME      name of server instance (if using mysql.server startup script)
  -l           don't subtract lock time from total time

 

-s, 是表示按照何种方式排序
    c: 访问计数
 
    l: 锁定时间
 
    r: 返回记录
 
    t: 查询时间
 
    al:平均锁定时间
 
    ar:平均返回记录数
 
    at:平均查询时间
 
-t, 是top n的意思,即为返回前面多少条的数据;
-g, 后边可以写一个正则匹配模式,大小写不敏感的;
 
比如:
得到返回记录集最多的10个SQL。
mysqldumpslow -s r -t 10 /database/mysql/mysql06_slow.log
 
得到访问次数最多的10个SQL
mysqldumpslow -s c -t 10 /database/mysql/mysql06_slow.log
 
得到按照时间排序的前10条里面含有左连接的查询语句。
mysqldumpslow -s t -t 10 -g “left join” /database/mysql/mysql06_slow.log
 
另外建议在使用这些命令时结合 | 和more 使用 ,否则有可能出现刷屏的情况。
mysqldumpslow -s r -t 20 /mysqldata/mysql/mysql06-slow.log | more

6 show profile查看执行时间

SHOW PROFILE 相比 EXPLAIN 能看到更进一步的执行解析,包括 SQL 都做了什么、所花费的时间等。默认情况下,profiling 是关闭的,我们可以在会话级别开启这个功能。

-- 使用 SHOW PROFILE 查看 SQL 的具体执行成本
-- 查看 profiling 功能是否开启
show variables like 'profiling';

-- 通过设置 profiling='ON’来开启 show profile
set profiling = 'ON';

-- 查看当前会话都有哪些 profiles
show profiles;

-- 查看上一个查询的开销
show PROFILE;

-- 查看指定的 Query ID 的开销,比如 show profile for query 2 查询结果是一样的
show profile cpu, block io for query 2

 

 

 不过 SHOW PROFILE 命令将被弃用,我们可以从 information_schema 中的 profiling 数据表进行查看。

 

99 直接读这些牛人的原文

如何使用性能分析工具定位SQL执行慢的原因?

一个线上SQL死锁异常分析:深入了解事务和锁

 

posted @ 2021-04-12 22:48  沙漏哟  阅读(74)  评论(0编辑  收藏  举报