MySQL 性能定位

一、SQL性能分析

     1.SQL执行频率

       MySQL 客户端连接成功后,通过 show [session|global] status 命令可以提供服务器状态信息。通过如下指令,可以查看当前数据库的 INSERT 、 UPDATE 、 DELETE 、 SELECT 的访问频次:  

       -- session 是查看当前会话 ;
       -- global 是查询全局数据 ;
       SHOW GLOBAL STATUS LIKE 'Com_______';

       

       Com_delete: 删除次数    Com_insert: 插入次数 

       Com_select: 查询次数   Com_update: 更新次数

       我们可以在当前数据库再执行几次查询操作,然后再次查看执行频次,看看 Com_select 参数会不会变化。

 通过上述指令,我们可以查看到当前数据库到底是以查询为主,还是以增删改为主,从而为数据库优化提供参考依据。 如果是以增删改为主,我们可以考虑不对其进行索引的优化。 如果是以查询为主,那么就要考虑对数据库的索引进行优化了

 那么通过查询SQL的执行频次,我们就能够知道当前数据库到底是增删改为主,还是查询为主。 那假如说是以查询为主,我们又该如何定位针对于那些查询语句进行优化呢? 我们可以借助于慢查询日志。

      2.慢查询日志   

        慢查询日志记录了所有执行时间超过指定参数( long_query_time ,单位:秒,默认 10 秒)的所有SQL 语句的日志。 

        MySQL 的慢查询日志默认没有开启,我们可以查看一下系统变量 slow_query_log 。

      3.profile详情 

        show profiles 能够在做 SQL 优化时帮助我们了解时间都耗费到哪里去了。通过 have_profiling参数,能够看到当前 MySQL 是否支持 profile 操作:

        SELECT @@have_profiling ;

   开关已经打开了,接下来,我们所执行的SQL语句,都会被MySQL记录,并记录执行时间消耗到哪儿去了。 我们直接执行如下的SQL语句:

        select * from tb_user;
        select * from tb_user where id = 1;
        select * from tb_user where name = '白起';
        select count(*) from tb_user;

   执行一系列的业务 SQL 的操作,然后通过如下指令查看指令的执行耗时:    

        -- 查看每一条SQL的耗时基本情况
        show profiles;
        -- 查看指定query_id的SQL语句各个阶段的耗时情况
        show profile for query query_id;
        -- 查看指定query_id的SQL语句CPU的使用情况
        show profile cpu for query query_id;

    

    查看指定SQL各个阶段的耗时情况 :    

         show profile for query 97;

   

   4.explain分析   

    EXPLAIN 或者 DESC 命令获取 MySQL 如何执行 SELECT 语句的信息,包括在 SELECT 语句执行过程中表如何连接和连接的顺序  

    -- 直接在select语句之前加上关键字 explain / desc
    EXPLAIN SELECT 字段列表 FROM 表名 WHERE 条件 ;

      

    

来源:https://blog.51cto.com/u_15011668/7734846

 

 

二、正在执行的线程查看
   show processlist;
 
+----+------+--------------------+-----------+---------+------+-------------+------------------+
| Id | User | Host               | db        | Command | Time | State       | Info             |
+----+------+--------------------+-----------+---------+------+-------------+------------------+
| 36 | root | 172.16.100.19:7954 | tpcc_test | Sleep   |  456 |             | NULL             |
| 37 | root | 172.16.100.19:7969 | tpcc_test | Sleep   |  456 |             | NULL             |
| 42 | root | localhost          | NULL      | Query   |    0 | System lock | show processlist |
| 43 | root | 10.0.102.204:49224 | employees | Sleep   |   12 |             | NULL             |
+----+------+--------------------+-----------+---------+------+-------------+------------------+
4 rows in set (0.00 sec)
ID:连接标识。这个值和INFORMATION_SCHEMA.PROCESSLIST表的ID列,以及PERFORMANCE_SCHEMA中的threads中的process_id值是相同的。
time: 线程已经在当前状态的时间。


kill线程

与MySQL服务器每个链接都在一个单独的线程中运行。可以使用如下语句杀死一个线程。

kill [connection| query] processlist_id

connection: 与kill processlist_id相同;中断连接正在执行的任何语句之后,中断连接。
query: 中断连接正在执行的语句,但是保持本身的连接。
注意:

这里需要注意的就是如果出现大量的sleep进程的话,并且时间很长的话,这种都是链接的客户端在使用完链接没有close造成的。这里是需要调整的属性 wait_timeout 就是 sleep 连接最大存活时间,默认是 28800 s,换算成小时就是 8 小时,
相当于今天上班以来所有建立过而未关闭的连接都不会被清理。 这里说明一下,下面的时间单位是秒。 执行命令: show
global variables like '%wait_timeout'; set global wait_timeout=250;
实用小sql(
20221009)
-- 按照客户端IP分组,看哪个客户端的连接数最多
select client_ip, count(client_ip) as client_num
from (select substring_index(host, ':', 1) as client_ip
      from `information_schema`.processlist) as connect_info
group by client_ip
order by client_num desc;
 
-- 查看正在执行的线程,并按 Time 倒排序,看看有没有执行时间特别长的线程
select *
from `information_schema`.processlist
where Command != 'Sleep'
order by Time desc;
 
-- 找出所有执行时间超过 5 分钟的线程,拼凑出 kill 语句,方便后面查杀
select concat('kill ', id, ';')
from `information_schema`.processlist
where Command != 'Sleep'
  and Time > 300
order by Time desc;

 

三、查看最大链接数
   show variables like '%max_connection%'; 查看最大连接数
   set global max_connections=1000;        重新设置最大连接数
 
mysql> show status like  'Threads%';
+-------------------+-------+
| Variable_name     | Value |
+-------------------+-------+
| Threads_cached    | 32    |
| Threads_connected | 10    |
| Threads_created   | 50    |
| Threads_rejected  | 0     |
| Threads_running   | 1     |
+-------------------+-------+
5 rows in set (0.00 sec)
Threads_connected :这个数值指的是打开的连接数.

Threads_running :这个数值指的是激活的连接数,这个数值一般远低于connected数值.

Threads_connected 跟show processlist结果相同,表示当前连接数。准确的来说,Threads_running是代表当前并发数
四、事务相关
# 查看正在锁的事务
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCKS;
 
# 查看等待锁的事务
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCK_WAITS;

  Lock wait timeout exceeded:后提交的事务等待前面处理的事务释放锁,但是在等待的时候超过了mysql的锁等待时间,就会引发这个异常。

  Dead Lock:两个事务互相等待对方释放相同资源的锁,从而造成的死循环,就会引发这个异常。

  还有一个要注意的是innodb_lock_wait_timeout与lock_wait_timeout也是不一样的。

  innodb_lock_wait_timeout:innodb的dml操作的行级锁的等待时间

  lock_wait_timeout:数据结构ddl操作的锁的等待时间

  那么如何查看innodb_lock_wait_timeout的具体值:

  SHOW VARIABLES LIKE 'innodb_lock_wait_timeout'
  ps. 注意global的修改对当前线程是不生效的,只有建立新的连接才生效

五、日志刷新导致IO过高
   可能存在MySQL在日志在每次事务提交时,都会将其写入并刷新到磁盘,造成磁盘IO的高占用。如果所在磁盘是机械磁盘的话,可能io会更高。
   通过在MySQL命令行运行以下命令:

   show variables like 'sync_binlog';
 
   可以看到:sync_binlog 的值为1。

   该值意味着:启用在提交事务之前将二进制日志同步到磁盘。这是最安全的设置,但是会造成磁盘的较高占用。

   show variables like 'innodb_flush_log_at_trx_commit';
   可以看到:innodb_flush_log_at_trx_commit 的值为1。

   该值意味着:日志会在每次事务提交时写入并刷新到磁盘。

     

    对于设置 0 和 2,不能 100% 保证每秒一次刷新。

    注意:这种解决办法是在牺牲数据库安全的前提下,提高磁盘的性能!!!更改配置可能会带来更高的数据丢失风险!!!

 


六、临时表创建过多导致IO过高
mysql> show global status like '%tmp%';
+-------------------------+-------+
| Variable_name           | Value |
+-------------------------+-------+
| Created_tmp_disk_tables | 3     |
| Created_tmp_files       | 22    |
| Created_tmp_tables      | 8     |
+-------------------------+-------+
————————————————

   多执行几次,如果发现tmp_files和tmp_disk_tables的值在增长,证明在大量的创建临时文件及磁盘临时表,则会引起磁盘IO过高。

   常见的情况会导致频繁建立临时表

   1. UNION查询;

   2. insert into select ...from ...

   3. ORDER BY和GROUP BY的子句不一样时;

   4.数据表中包含blob/text列

   其他更多创建临时表过多的情况可参考官方文档:




七、有频繁的全表扫描的sql导致IO过高
查看sql的全表扫描次数:

show global status like '%Select_scan%';
频繁的全表扫描也会引起数据库的io过高。
八、大事务写Binlog导致实例I/O高
现象
事务只有在提交时才会写Binlog文件,如果存在大事务,例如一条Delete语句删除大量的行,可能会产生几十GB的Binlog文件,Binlog文件刷新到磁盘时,会造成很高的I/O吞吐。

解决方案
建议尽量将事务拆分,避免大事务和降低刷新磁盘频率。
九、DDL语句导致实例I/O高
现象
DDL语句可能会重建表空间,期间会扫描全表数据、创建索引排序、刷新新表产生的脏页,这些都会导致大量的I/O吞吐。另外一种场景是删除大表造成的I/O抖动。
十、 MySQL活跃线程数高
        活跃线程数或活跃连接数是衡量MySQL负载状态的关键指标,通常来说一个比较健康的实例活跃连接数应该低于10,高规格和高QPS的实例活跃连接数可能20、30,如果出现几百、上千的活跃连接数,说明出现了SQL堆积和响应变慢,严重时会导致实例停止响应,无法继续处理SQL请求。

mysql> show global status like 'Thread%';
+-------------------+-------+
| Variable_name     | Value |
+-------------------+-------+
| Threads_cached    | 31    |
| Threads_connected | 239   |
| Threads_created   | 2914  |
| Threads_running   | 4     |
+-------------------+-------+
排查慢SQL堆积问题

首先通过show processlist;命令查看是否有慢SQL。如果有很多扫描行数太多的SQL,容易导致活跃连接数升高。

排查表缓存(Table Cache)问题

现象
Table Cache不足时,会导致大量SQL处于Opening table状态,在QPS过高或者表很多的场景容易出现。 

解决方案
将参数table_open_cache(不需要重启实例)和table_open_cache_instances(需要重启实例)调大。

排查行锁冲突问题
现象
行锁冲突表现为Innodb_row_lock_waits和Innodb_row_lock_time监控项的指标升高。

解决方案

可以通过show engine innodb status;命令查看是否有大量会话处于Lock wait状态,如果有,说明行锁冲突比较严重,需要通过优化热点更新、降低事务大小、及时提交事务等方法避免行锁冲突。
https://blog.csdn.net/xiangzaixiansheng/article/details/127049454

 

posted @ 2024-11-19 16:59  【君莫笑】  阅读(4)  评论(0编辑  收藏  举报