MySQL缓存之Qcache与buffer pool对比
Q:innodb buffer pool和Qcache的缓存区别?
A:
1、Qcacche缓存的是SQL语句及对应的结果集,缓存在内存,最简单的情况是SQL一直不重复,那Qcache的命令率肯定是0;
2、buffer pool中缓存的是整张表中的数据,缓存在内存,SQL再变只要数据都在内存,那么命中率就是100%。
一、查询缓存(QueryCache)
1、关于查询缓存机制
开启了缓存,会自动将查询语句和结果集返回到内存,下次再查直接从内存中取;
查询缓存会跟踪系统中每张表,若表发生变化,则和该张表相关的所有查询缓存全部失效,这是和buffer pool缓存机制很大的区别;
检查查询缓存时,MYSQL不会对SQL做任何处理,它精确的使用客户端传来的查询,只要字符大小写或注释有点不同,查询缓存就认为是不同的查询;
任何一个包含不确定的函数(比如now()、curren_date())的查询不会被缓存。
注意:
查询缓存可改善性能,但是开启查询缓存对读写增加了额外开销。
1、对于读,在查询前需先检查缓存;
2、对于写,写入后需更新缓存。
一般情况下这些开销相对较小,因此需要根据业务权衡是否开启查询缓存。
2、Qcache参数
mysql> show variables like '%query_cache%';
+------------------------------+---------+
| Variable_name | Value |
+------------------------------+---------+
| have_query_cache | YES |
| query_cache_limit | 1048576 |
| query_cache_min_res_unit | 4096 |
| query_cache_size | 1048576 |
| query_cache_type | OFF |
| query_cache_wlock_invalidate | OFF |
+------------------------------+---------+
参数解析:
1、have_query_cache:该MySQL是否支持Query Cache;
2、query_cache_limit:缓存块大小,超过该大小不会被缓存
3、query_cache_min_res_unit:每个qcache最小的缓存空间大小
4、query_cache_size:分配给查询缓存的总内存
5、query_cache_type:是否开启查询缓存
6、query_cache_wlock_invalidate:控制当有锁加在表上的时候,是否先让该表相关的 Query Cache失效
3、配置查询缓存:在配置文件中修改如下参数
query_cache_type = on #开启查询缓存
query_cache_size = 200M #分配给查询缓存的总内存,一般建议不超过256M
query_cache_limit = 1M #限制MySQL存储的最大结果;如果查询的结果比limit大,那么就不会被缓存。
4、监控Qcache使用情况
mysql> show status like 'qcache%';
+-------------------------+---------+
| Variable_name | Value |
+-------------------------+---------+
| Qcache_free_blocks | 1 |
| Qcache_free_memory | 1031832 |
| Qcache_hits | 0 |
| Qcache_inserts | 0 |
| Qcache_lowmem_prunes | 0 |
| Qcache_not_cached | 5476 |
| Qcache_queries_in_cache | 0 |
| Qcache_total_blocks | 1 |
+-------------------------+---------+
解析:
1、Qcache_free_blocks :Query Cache中目前还有多少剩余的blocks。如果该值显示较大,则说明Query Cache中的内存碎片较多了,可能需要寻找合适的机会进行整理。处理办法:mysql> FLUSH QUERY CACHE;清理查询缓存碎片以提高内存使用性能。(该语句不从缓存中移出任何查询)
2、Qcache_free_memory:Query Cache 中目前剩余的内存大小
3、Qcache_hits:缓存命中次数
4、Qcache_inserts:多少次未命中然后插入
Query Cache命中率 = Qcache_hits /(Qcache_hits + Qcache_inserts)
5、Qcache_lowmem_prunes:多少条Query 因为内存不足而被清除出Query
6、Qcache_not_cached:因为query_cache_type的设置off或者不能被cache的Query的数量
7、Qcache_queries_in_cache:当前Query Cache中cache的Query数量
8、Qcache_total_blocks:当前Query Cache中的block数量
注:
命中率低,说明没从内存中取,还是从磁盘取,则多走了一步。看是否sql老变还是什么问题;
Qcache_not_cached 数值大,开启了查询缓存没有缓存的数据则说明设置缓存的大小太小了,好多无法缓存。
二、存储引擎层-innodb buffer pool
buffer pool是innodb存储引擎带的一个缓存池,查询数据的时候,它首先会从内存中查询,如果内存中存在的话,直接返回,从而提高查询响应时间。Buffer pool是设置的越大越好,一般设置为服务器物理内存的70%。
1、Innodb_buffer_pool参数
mysql> show variables like '%innodb_buffer_pool%';
+-------------------------------------+----------------+
| Variable_name | Value |
+-------------------------------------+----------------+
| innodb_buffer_pool_chunk_size | 134217728 |
| innodb_buffer_pool_dump_at_shutdown | ON |
| innodb_buffer_pool_dump_now | OFF |
| innodb_buffer_pool_dump_pct | 25 |
| innodb_buffer_pool_filename | ib_buffer_pool |
| innodb_buffer_pool_instances | 1 |
| innodb_buffer_pool_load_abort | OFF |
| innodb_buffer_pool_load_at_startup | ON |
| innodb_buffer_pool_load_now | OFF |
| innodb_buffer_pool_size | 134217728 |
+-------------------------------------+----------------+
参数解析:
1、innodb_buffer_pool_size:Innodb_buffer_pool的大小
2、innodb_buffer_pool_filename :热数据文件名称
3、innodb_buffer_pool_dump_now:默认是OFF;如果开启则立刻InnoDB将InnoDB缓冲池中的热数据保存到本地硬盘。(组合innodb_buffer_pool_load_now使用)
4、innodb_buffer_pool_load_now:默认是OFF;如果开启则立刻通过加载数据页预热innodb缓冲池。
5、innodb_buffer_pool_load_at_startup:默认是OFF;如果开启该参数,启动MySQL服务时,MySQL将本地热数据加载到InnoDB缓冲池中。
6、innodb_buffer_pool_dump_at_shutdown:默认是OFF;如果开启该参数,停止mysq服务时是否自动保存InnoDB buffer pool中热数据。
Q:如何快速重启使用数据库---Preloading the InnoDB Buffer Pool for Faster Restart
A:
开启innodb_buffer_pool_load_at_startup、innodb_buffer_pool_dump_at_shutdown参数。重启数据库,停止时保存热数据,启动时加载热数据到buffer pool。
2、Innodb_buffer_pool状态
mysql> show status like '%innodb_buffer_pool%';
+---------------------------------------+--------------------------------------------------+
| Variable_name | Value |
+---------------------------------------+--------------------------------------------------+
| Innodb_buffer_pool_dump_status | Dumping of buffer pool not started |
| Innodb_buffer_pool_load_status | Buffer pool(s) load completed at 170430 7:07:12 |
| Innodb_buffer_pool_resize_status | |
| Innodb_buffer_pool_pages_data | 241 |
| Innodb_buffer_pool_bytes_data | 3948544 |
| Innodb_buffer_pool_pages_dirty | 0 |
| Innodb_buffer_pool_bytes_dirty | 0 |
| Innodb_buffer_pool_pages_flushed | 176 |
| Innodb_buffer_pool_pages_free | 7951 |
| Innodb_buffer_pool_pages_misc | 0 |
| Innodb_buffer_pool_pages_total | 8192 |
| Innodb_buffer_pool_read_ahead_rnd | 0 |
| Innodb_buffer_pool_read_ahead | 0 |
| Innodb_buffer_pool_read_ahead_evicted | 0 |
| Innodb_buffer_pool_read_requests | 53710 |
| Innodb_buffer_pool_reads | 201 |
| Innodb_buffer_pool_wait_free | 0 |
| Innodb_buffer_pool_write_requests | 45242 |
+---------------------------------------+--------------------------------------------------+
Innodb_buffer_pool_read_requests #逻辑读(缓存读)请求次数,也是读的请求次数
Innodb_buffer_pool_reads #从物理磁盘中获取到数据的次数
注:
逻辑读就是从buffer pool的读,但是也会包含物理读,因为物理读也要是先将从disk中读取的数据放入buffer pool里,然后再进行逻辑读。所以:总的逻辑读也就是读的请求次数。
读的命中率=(Innodb_buffer_pool_read_requests- Innodb_buffer_pool_reads)/ Innodb_buffer_pool_read_requests