关于mysql占用内存不释放的实验结论

一、现象

  可能大家都遇到过这么一种现象。MySQL占用着内存不释放,然后还时不时的一点点增加。

二、问题排查

  结合官方文档 https://dev.mysql.com/doc/refman/5.7/en/memory-use.html 和 percona文档 https://www.percona.com/blog/2018/06/28/what-to-do-when-mysql-runs-out-of-memory-troubleshooting-guide/

       得出以下MySQL占用内存的计算方法

--查看每个线程占用多少内存,然后乘以正在运行的线程(也就是排查sleep的)。
SELECT ( ( @@read_buffer_size
+ @@read_rnd_buffer_size
+ @@sort_buffer_size
+ @@join_buffer_size
+ @@binlog_cache_size
+ @@thread_stack
+ @@max_allowed_packet
+ @@net_buffer_length )
) / (1024*1024) AS MEMORY_MB;

--查看MySQL全局占用多少内存
select (@@innodb_buffer_pool_size
+@@innodb_log_buffer_size
+@@key_buffer_size) / 1024 /1024 AS MEMORY_MB;

--查看performance_schema占用多少内存
SELECT SUBSTRING_INDEX(event_name,'/',2) AS
       code_area, sys.format_bytes(SUM(current_alloc))
       AS current_alloc
       FROM sys.x$memory_global_by_current_bytes
       GROUP BY SUBSTRING_INDEX(event_name,'/',2)
       ORDER BY SUM(current_alloc) DESC;

--查看 memory 存储引擎占用多少内存
select sum(max_data_length)/1024/1024 as MEMORY_MB from tables where engine='memory';

  再把上面的结果相加,就是MySQL当前占用的内存大小。但问题是算出来的结果比实际的小了很多。但如果拿历史最大连接数去算的话,结果是差不多的。所以,就在怀疑,MySQL是否有一个内存的“高水位“。因此带着疑问做了以下实验

 

三、实验

操作系统:centos 7.4

MySQL:percona 5.7.23

内存:32G

innodb_buffer_pool_size:8G

 

3.1 首先重启MySQL,释放掉内存,重启后,innodb_buffer_pool 中有 free_page,这时候,使用 sysbench 生成 8G 数据。全表扫描 sbtest1,把innodb_buffer_pool 占满,观察当前MySQL占用的内存

--全表扫描sbtest1
select count(*) from (select * from sbtest1) a;

--查看innodb_buffer_pool情况
select sum(POOL_SIZE),sum(free_buffers),sum(DATABASE_PAGES) from INNODB_BUFFER_POOL_STATS;
+----------------+-------------------+---------------------+
| sum(POOL_SIZE) | sum(free_buffers) | sum(DATABASE_PAGES) |
+----------------+-------------------+---------------------+
|         524224 |              6537 |              517687 |
+----------------+-------------------+---------------------+

因为我设置 innodb_buffer_pool_instance = 8,innodb_lru_scan_depth = 1024。所以 free_page 最大会剩余 8192 个 buffer。

top 观察到当前 MySQL 占用 8.8G左右

 

3.2 调整线程。thread 增加到50个,然后观察内存。

 

 

0.010 * 1024 = 10.24G 左右。内存从 8.8G 增加到 10.24G,等到查询结束,MySQL内存并没有释放回 8.8G

 

3.3 把 thread 调整到 10个,观察内存

 

内存并没有增加

 

3.4 把 thread 调整到 100个,观察内存

 

0.012 * 1024 = 12.28(G) 左右

 

四、结论

从目前的实验结果来看,mysql 会把内存占用不释放,像是有一个历史高水位在那里,比如说,我历史跑过最大连接数 50 个,mysqld占用了 10.24G内存,接下来跑 10个连接数的时候,则内存不会增加。最后跑了100个连接数,内存又增加到12.28G。然后就一直保持在12.28G。

该结论纯属由实验得出的,可能有错误,偏差的地方。如果有朋友觉得结论有错误,或者觉得以偏概全,可以联系 QQ:505701092。欢迎一起讨论或者指正,谢谢!

       

 

posted @ 2018-10-12 17:59  Ziroro  阅读(13362)  评论(2编辑  收藏  举报