InnoDB存储结构之内存结构

 

 

内存结构主要包括Buffer Pool、Change Buffer、Adaptive Hash Index和Log Buffer四大组件。

• 缓冲池（Buffer Pool）：
• Buffer Pool以Page为单位，默认大小16K，底层采用链表数据结构管理Page。
• 在InnoDB访问表记录和索引时会在Page页中缓存，以后使用可以减少磁盘IO操作，提升效率。
• Page管理机制：
• Page根据状态可以分为三种类型：
• free page：空闲page，未被使用
• clean page：被使用page，数据没有被修改过
• dirty page：脏页，被使用page，数据被修改过，页中数据和磁盘的数据不一致
• 针对上述三种page类型，InnoDB通过三种链表结构来维护和管理
• free list：表示空闲缓冲区，管理free page
• flush list：表示需要刷新到磁盘的缓冲区，管理dirty page，内部page按修改时间排序。脏页既存在于flush链表，也在LRU链表中，但两种互不影响，LRU链表负责管理page的可用性和释放，而flush链表负责管理脏页的刷盘操作。
• lru list：表示正在使用的缓冲区，管理clean page和dirty page，缓存区以midpoint为基点，前面链表称为new列表区，存放经常访问的数据，占63%；后面的链表称为old列表区，存放使用较少的数据，占37%。
• 改进型LRU算法维护
• 普通LRU：末尾淘汰法，新数据从链表头部加入，释放空间时从末尾释放
• 改进型LRU：链表分为new和old两个部分，加入元素时并不是从表头插入，而是从中间midpoint位置插入，如果数据很快被访问，那么page就会向new列表头移动，如果数据没有被访问，会逐步向old尾部移动，等待淘汰。
• 每当有新的page数据读取到Buffer Pool时，InnoDB引擎会判断是否有空闲页，是否足够，如果有就将free page从free list列表删除，放入到lru list列表中；没有空闲页，就会根据LRU算法淘汰lru list中末尾的页，将内存空间释放分配给新的页。
• Buffer Pool配置参数
• show variables like '%innodb_page_size%'：查看page页大小参数
• show variables like '%innodb_old%'：查看lru list中old列表参数
• show variables like '%innodb_buffer%'：查看buffer pool参数
• 建议：将innodb_buffer_pool_size设置为总内存大小的60%~80%，innodb_buffer_pool_instances可以设置为多个，可以避免缓存争夺。
• 写缓冲区（Change Buffer）：
• 在进行DML操作时，如果Change Buffer没有其相应的Page数据，并不会立刻将磁盘页加载到缓冲池，而是在Change Buffer记录缓冲变更，等未来数据被读取时，再将数据合并恢复到Buffer Pool中。
• Change Buffer占用Buffer Pool空间，默认占25%，最大允许占50%，可以根据读写业务量来进行调整。参数innodb_change_buffer_max_size。
• 当更新一条记录时，该记录在Buffer Pool存在，直接Buffer Pool修改，一次内存操作；如果该记录在Buffer Pool不存在，会直接在Change Buffer进行一次内存操作，不用再去磁盘查询数据，避免一次磁盘IO。当下次查询记录时，会先进行磁盘读取，然后再从Change Buffer中读取信息并合并，最终载入Buffer Pool中。
• 问题1：写缓冲区，仅适用于非唯一普通索引页？
• 如果在索引设置唯一性，在进行修改时，InnoDB必须要做唯一性校验，因此必须查询磁盘，做一次IO操作。会直接将记录查询到Buffer Pool中，然后在缓冲池修改，不会在Change Buffer操作。
• 自适应哈希索引（Adaptive Hash Index）：
• 用于优化对Buffer Pool数据的查询，InnoDB存储引擎会监控对表索引的查找，如果观察到建立哈希索引可以带来速度的提升，则建立哈希索引，所以称之为自适应。
• InnoDB存储引擎会自动根据访问的频率和模式来为某些页建立哈希索引。
• 日志缓冲区（Log Buffer）：
• 用来保存要写入磁盘上log文件（Redo/Undo）的数据。日志缓冲区的内容定期刷新到磁盘log文件中。日志缓冲区满时会自动将其刷新到磁盘，当遇到BLOB或多行更新的大事务操作时，增加日志缓冲区可以节省磁盘IO。
• Log Buffer主要用于记录InnoDB引擎日志，在DML操作时会产生Redo和Undo日志。
• Log Buffer空间满了，会自动写入磁盘。可以通过将innodb_log_buffer_size参数调大，减少磁盘IO频率
• innodb_flush_log_at_trx_commit参数控制日志刷新行为，默认为1
• 0：每隔1秒写日志文件和刷盘操作（写日志文件Log Buffer --> OS cache，刷寻OS cache --> 磁盘文件），最多丢失1秒数据
• 1：事务提交，立刻写日志文件和刷盘，数据不丢失，但是会频繁IO操作
• 2：事务提交，立刻写日志文件，每隔1秒进行刷盘操作