你知道MySQL的LRU链表吗?
相信大家对LRU链表是不陌生的,算是一种基础的数据结构!
LRU:Least Recently Used
一、简述传统的LRU链表
LRU:Least Recently Used
相信大家对LRU链表是不陌生的,它算是一种基础的数据结构吧,而且想必面试时也被问到过什么是LRU链表,甚至是让你手写一个LRU链表。
如果你读了上一篇:你有没有搞混查询缓存和BufferPool?谈谈看!
想必你已经知道了MySQL的Buffer Pool机制以及MySQL组织数据的最小单位是数据页。并且你也知道了 数据页在Buffer Pool中是以LRU链表的数据结构组织在一起的。
其实所谓的LRU链表本质上就是一个双向循环链表,如下图:
下面我们结合LRU链表和数据页机制描述一下MySQL加载数据的机制:
我们将从磁盘中读取的数据页称为young page,young page会被直接放在链表的头部。已经存在于LRU链表中数据页如果被使用到了,那么该数据页也被认为是young page而被移动到链表头部。这样链表尾部的数据就是最近最少使用的数据了,当Buffer Pool容量不足,或者后台线程主动刷新数据页时,就会优先刷新链表尾部的数据页。
二、传统LRU链表的不足
相信你之前肯定听说过操作系统级别的空间局部性原理:
spatial locality(空间局部性):也就是说读取一个数据,在它周围内存地址存储的数据也很有可能被读取到,于是操作系统会帮你预读一部分数据。
MySQL也是存在存在预读机制的!
- 当Buffer Pool中存储着一个区中13个连续的数据页时,你再去这个区里面读取,MySQL就会将这个区里面所有的数据页都加载进Buffer Pool中的LRU链表中。(然后可能你根本不会使用这些被预读的数据页)
- 当你顺序的访问了一个区中大于
innndb_read_ahead_threshold=56
个数据页时,MySQL会自动帮你将下一个相邻区中的数据页读入LRU链表中。(这个机制默认是被关闭的) - 当你执行
select * from xxx;
时,如果表中的数据页非常多,那这些数据页就会一一将Buffer Pool中的经常使用的缓存页挤下去,可能留在LRU链表中的全部是你不经常使用的数据。
综上你可以看到,所谓的预读机制的优势,实际上违背了LRU去实现将最近最少使用的数据页刷入磁盘的设计初衷。
三、MySQL的LRU链表
接下来我们看下MySQL的Buffer Pool是如何定制LRU链表的,已经LRU帮InnoDB解决了什么问题。
当业务进行大量的CRUD时,需要不断的将数据页读取到buffer pool中的LRU链表中。
MySQL的LRU链表长下面这样。
LRU链表被MidPoint分成了New Sublist和Old Sublist两部分。
其中New Sublist大概占比5/8,Old Sublist占比3/8。
New Sublist存储着young page,而Old Sublist存储着Old Page。
我们可以通过如下的方式查看MidPoint的默认值。
用户可以根据自己的业务动态的调整这个参数!
这其实是一种冷热数据分离设计思想。他相对于传统的LRU链表有很大的优势
四、MySQL定制LRU链表的优势
而对于MySQLLRU链表来说,通过MidPoint将链表分成两部分。
从磁盘中新读出的数据会放在Old Sublist的头部。这样即使你真的使用select * from t;
也不会导致New Sublist中的经常被访问的数据页被刷入磁盘中。
正常情况下,访问Old Sublist中的缓存页,那么该缓存页会被提升到New Sublist中成为热数据。
但是当你通过 select * from t
将一大批数据加载到Old Sublist时,然后在不到1s内你又访问了它,那在这段时间内被访问的缓存页并不会被提升为热数据。 这个1s由参数innodb_old_blocks_time
控制。
另外:New SubList也是经过优化的,如果你访问的是New SubList的前1/4的数据,他是不会被移动到LRU链表头部去的。
当然你可能对什么是数据区并不了解,别急。白日梦将在第13篇文章中同你分享什么是数据区
五、推荐阅读
4、能谈谈year、date、datetime、time、timestamp的区别吗?
参考:
https://dev.mysql.com/doc/refman/5.7/en/innodb-buffer-pool.html
https://dev.mysql.com/doc/refman/5.7/en/innodb-performance-midpoint_insertion.html
https://dev.mysql.com/doc/refman/5.7/en/innodb-performance-read_ahead.html
推荐阅读
- 大家常说的基数是什么?(已发布)
- 讲讲什么是慢查!如何监控?如何排查?(已发布)
- 对NotNull字段插入Null值有啥现象?(已发布)
- 能谈谈 date、datetime、time、timestamp、year的区别吗?(已发布)
- 了解数据库的查询缓存和BufferPool吗?谈谈看!(已发布)
- 你知道数据库缓冲池中的LRU-List吗?(已发布)
- 谈谈数据库缓冲池中的Free-List?(已发布)
- 谈谈数据库缓冲池中的Flush-List?(已发布)
- 了解脏页刷回磁盘的时机吗?(已发布)
- 用十一张图讲清楚,当你CRUD时BufferPool中发生了什么!以及BufferPool的优化!(已发布)
- 听说过表空间没?什么是表空间?什么是数据表?(已发布)
- 谈谈MySQL的:数据区、数据段、数据页、数据页究竟长什么样?了解数据页分裂吗?谈谈看!(已发布)
- 谈谈MySQL的行记录是什么?长啥样?(已发布)
- 了解MySQL的行溢出机制吗?(已发布)
- 说说fsync这个系统调用吧! (已发布)
- 简述undo log、truncate、以及undo log如何帮你回滚事物! (已发布)
- 我劝!这位年轻人不讲MVCC,耗子尾汁! (已发布)
- MySQL的崩溃恢复到底是怎么回事? (已发布)
- MySQL的binlog有啥用?谁写的?在哪里?怎么配置 (已发布)
- MySQL的bin log的写入机制 (已发布)
面试官都关注了!你还在犹豫什么呢?