[DB] MySQL技术内幕：InnoDB存储引擎读书笔记（上）
第一章、mysql体系结构和存储引擎
1.1、数据库和实例的区别
数据库：物理操作系统或其他形式文件类型的集合。在mysql下数据库文件可以是frm，myd，myi，ibd结尾的文件。
数据库实例：由数据库后台进程/线程以及一个共享内存区组成。
mysql数据库是但进程多线程的程序。
1.2、mysql的体系结构
mysql由连接池组件、管理服务和工具组件、sql接口组建、查询分析器组件、优化器组件、缓存组件、插件是存储引擎、物理文件。
示意图见书：P4.
1.3、mysql存储引擎
1.3.1、innodb存储引擎，特点支持外键、行锁、非锁定读(默认情况下读取不会产生锁)、mysql-4.1开始支持每个innodb引擎的表单独放到一个表空间里。innodb通过使用MVCC来获取高并发性，并且实现sql标准的4种隔离级别，同时使用一种被称成next-key locking的策略来避免换读(phantom)现象。除此之外innodb引擎还提供了插入缓存(insert buffer)、二次写(double write)、自适应哈西索引(adaptive hash index)、预读(read ahead)等高性能技术。
1.3.2、myisam存储引擎，myisam特点是不支持事物，适合olap应用，myisam表由MYD和MYI组成。mysql-5.0版本之前，myisam默认支持的表大小为4G，从mysql-5.0以后，myisam默认支持256T的表单数据。myisam只缓存索引数据，mysql-5.1.23版本之前无论32、64位操作系统环境下，缓存索引的缓冲区最大只能4G，在之后的版本中，64位系统可以支持大于4G的索引缓冲区。
1.3.3、NDB存储引擎，2003年mysql从索爱公司收购的NDB引擎，NDB的特点是数据放在内存中，mysql-5.1版本开始可以将非索引数据放到磁盘上。NDB之前的缺陷是join查询是mysql数据库层完成的，而不是存储引擎完成的，复杂的join查询需要巨大的网络开销，速度很慢。当前mysql cluster7.2版本中已经解决此问题，join查询效率提高了70倍。
1.3.4、memeory存储引擎，将数据放到内存中，默认使用hash索引，不支持text和blob类型，varchara是按照char的方式来存储的。mysql数据库使用memory存储引擎作为临时表还存储中间结果集(intermediate result)，如果中间集结果大于memorg表的容量设置，又或者中间结果集包含text和blog列类型字段，则mysql会把他们转换到myisam存储引擎表而放到磁盘上，会对查询产生性能影响。
1.3.5、archive存储引擎，压缩能力较强，主要用于归档存储。
1.3.6、federated存储引擎，不存储数据，他指向一台远程mysql数据库上的表。
1.3.7、maria存储引擎，myisam的后续版本,支持缓存数据和索引，行锁设计，支持mvcc，支持事务和非事务安全的选项，以及更好的BLOG字符类型的处理性能。
1.3.8、其他存储引擎，sphinx用于全文索引，infobright用于数据仓库
1.4、各引擎之间的对比
可以通过 show engines查看mysql对存储引擎的支持情况。
1.5、连接mysql
第二章、innodb存储引擎
2.1、第一章已经大概介绍innodb的特点
2.2、innodb引擎架构
维护所有进程/线程需要访问的多个内部数据结构
缓存磁盘上的数据，方便快速的读取，并且在对磁盘文件的数据进行修改之前在这里缓存
重做日志缓存
……….
后台线程的主要作用是负责刷新内存池中的数据，保证缓冲池中的内存缓存是最近的数据，此外、将已经修改的数据文件刷新到磁盘文件，同时保证数据库发生异常情况下innodb能恢复到正常运行状态。
2.2.1、后台线程
innodb存储引擎后台有7个线程，—–4个IO线程，1个master thread，一个lock监控线程，一个错误监控线程。(当前5.5版本，默认IO线程是18个，8个读，8个写,一个insert buffer thread、一个log thread，加上master线程、lock监控线程、错误监控线程一共是21个)。可以通过 show variables like ‘innodb_%io_threads’\G和show engine innodb status\G来查看相关信息。
2.2.2、内存
innodb存储引擎内存由以下三个部分组成：缓冲池(buffer pool),重做日志缓存(redo log buffer),额外的内存池(additional memory pool)。分别使用innodb_buffer_pool_size和innodb_log_buffer_size、innodb_additional_mem_pool_size的大小决定。可以使用 show engine innodb status来查看innodb_buffer_pool的事情情况。在BUFFER POOL AND MEMORY里可以看到存储引擎缓存池的使用情况，buffer pool size表明一共有多少缓冲帧(buffer frame),每个buffer frame为16K.buffer pool size表明一共有多少缓冲帧、free buffers表示当前空闲的缓冲帧、database pages表示已经使用的缓存帧、modified db pages表示脏页的数量。
innodb_buffer_pool_size：具体看，缓冲池中的数据库类型有：索引页、数据库页、undo页、插入缓存页(insert buffer)、自适应hash(adaptive hash index)、innodb存储的锁信息(lock info)、数据字典信息(data dictionary)
示意图见书P24.
注意：在32位windows下innodb_buffer_pool_size可以通过开启AWE功能突破内存限制，但是会自动禁用自适应hash(adaptive hash index).
innodb_log_buffer_size：一般情况下innodb会每秒刷新log buffer到硬盘，因此保证每秒产生的事务梁在这个缓存大小之内就可以了。
innodb_additional_mem_pool_size：当你的innodb_buffer_pool_size很大的时候，这个值也需要扩大。
2.3、master thread
2.3.1、master thread源码分析
|
void masteor_thread(){ loop: //主循环,间隔10s for(int i=0;i thread_sleep(1) //sleep 1 s do log buffer flush to disk //每秒都要刷新日志缓存到硬盘 if(last_one_second_iosinnodb_max_dirty_pages_pct){//如果缓存中的脏页比例大于配置中的innodb_max_dirty_pages_pct就刷新100个脏页到硬盘 do buffer pool flush 100 dirty page } if(no user activity){ //如果当前没有活跃用户或者数据库关闭时，就跳入background loop goto backgroud loop } sleep 1 second if necessary } //每10秒执行的操作 if(last_ten_second_ios70%){ //如果缓存中脏页比例大于70%，就刷新100个脏页到硬盘，否则只刷新10个 do buffer pool flush 100 dirty page }else{ buffer pool flush 10 dirty page } do fuzzy checkpoint //产生一个检查点 goto loop: background loop: //backupgroud循环 do full purge //总是删除bufferpool中无用的undo页 do merge 20 insert buffer //总是合并20哥插入缓存 if not idle：//如果不空闲，就跳回主循环，如果空闲就跳入flush loop goto loop： else goto flush loop flush loop: do buffer pool flush 100 dirty page //总是刷新100个脏页到硬盘，直到缓存中的脏页比例小于innodb_max_dirty_pages_pct if(buf_get_modified_ratio_pct>innodb_max_dirty_pages_pct){ goto flush loop } goto suspend loop //完成刷新脏页的任务后，跳入suspend loop suspend loop: suspend_thread() //将master线程挂起，等待事件激活 waiting event goto loop: } |
可以通过show engine innodb status\G命令查看BACKGROUND THREAD段关于mster thread的信息。这里主循环执行了2857554次，每秒的thread执行了2857350次，每十秒的tread执行了285310次，6239次background thread和6238次flush thread。这里的每秒和每十秒的比例差不多，证明服务器压力不是很大。
|
----------------- BACKGROUND THREAD ----------------- srv_master_thread loops: 2857554 1_second, 2857350 sleeps, 285310 10_second, 6239 background, 6238 flush srv_master_thread log flush and writes: 3040886 |
2.3.2、master thread的潜在问题
1、由于硬件的发展，现在的硬件性能已经提高了很多，如果innodb每秒最大刷新100个脏页，那么效率会很低，为了解决这个问题，innodb plugin提供了一个参数innodb_io_capacity，用来表示磁盘IO的吞吐量，默认值是200，规则如下：
在合并插入缓存时，合并插入缓存的数量为innodb_io_capacity的5%。
在从缓冲区刷新脏页时，啥新脏页的数量为innodb_io_capacity。
如果你使用的是ssd或者raid10，你可以调高这个参数，知道符合你的硬件。
2、关于innodb_max_dirty_pages_pct值的争议，如果值过大，内存也很大或者服务器压力很大，那么效率很降低，如果设置的值过小，那么硬盘的压力会增加，建议是在75-80.并且innodb plugin引进了innodb_adaptive_flushng(自适应的刷新)，该值影响每秒刷新脏页的数量。他会通过innodb_flush_get_desired_flush_rate的函数判断需要刷新脏页最合适的量，这个函数是通过重做日志产生的速度来判断的。
通过上述改进，innodb master thread的为代码如下：
|
void masteor_thread(){ loop: //主循环,间隔10s for(int i=0;i thread_sleep(1) //sleep 1 s do log buffer flush to disk //每秒都要刷新日志缓存到硬盘 if(last_one_second_iosinnodb_max_dirty_pages_pct){//如果缓存中的脏页比例大于配置中的innodb_max_dirty_pages_pct就刷新innodb_io_capacity个脏页到硬盘 do buffer pool flush 100% innodb_io_capacity dirty page } if(no user activity){ //如果当前没有活跃用户或者数据库关闭时，就跳入background loop goto backgroud loop } sleep 1 second if necessary } //每10秒执行的操作 if(last_ten_second_ios< innodb_io_capacity){ //如果最后10s内IO小于innodb_io_capacity次，那么就刷新innodb_io_capacity个脏页到硬盘 do buffer pool flush 100% * innodb_io_capacity dirty page } do merge at most 5 insert buffer //总是合并最多5个插入缓存 do log buffer flush to disk //总是将日志缓存刷新到磁盘 do full purge //总是删除buffer_pool中无用的undo页，一次最多20个 if(buf_get_modified_ratio_pct>70%){ //如果缓存中脏页比例大于70%，就刷新innodb_io_capacity个脏页到硬盘，否则只刷新10%*innodb_io_capacity个 do buffer pool flush 100% * innodb_io_capacity dirty page }else{ buffer pool flush 10% * innodb_io_capacity dirty page } do fuzzy checkpoint //产生一个检查点 goto loop: background loop: //backupgroud循环 do full purge //总是删除bufferpool中无用的undo页 do merge 100% * innodb_io_capacity insert buffer //总是合并innodb_io_capacity个插入缓存 if not idle：//如果不空闲，就跳回主循环，如果空闲就跳入flush loop goto loop： else goto flush loop flush loop: do buffer pool flush 100% * innodb_io_capacity dirty page //总是刷新innodb_io_capacity个脏页到硬盘，直到缓存中的脏页比例小于innodb_max_dirty_pages_pct if(buf_get_modified_ratio_pct>innodb_max_dirty_pages_pct){ goto flush loop } goto suspend loop //完成刷新脏页的任务后，跳入suspend loop suspend loop: suspend_thread() //将master线程挂起，等待事件激活 waiting event goto loop: } |
2.4、关键特性,为innodb提高性能的技术
2.4.1、插入缓存
当一个表有非聚集索引时，对于非聚集索引的叶子节点的插入不是顺序的，这时候需要离散的访问非聚集索引页，性能就在这里降低了，这是由于b+树的原理导致的。插入缓存就是用来解决这个问题的。
对于非聚集索引的插入和更新操作，不是每一次都直接插入索引页，而是先判断插入的非聚集索引页是否在缓存中，如果在就直接插入，如果不在就放入到一个插入缓冲区中，好似欺骗数据库这个非聚集索引已经插入到叶子节点了。然后再以一定的频率插入缓存和非聚集索引页字节点的合并操作。
插入缓存的使用需要满足以下两个条件(也就是非唯一的辅助索引)：
索引是辅助索引
索引不是唯一的
可以通过show engine innodb status\G查看INSERT BUFFER AND ADAPTIVE HASH INDEX段的信息来了解插入缓存的使用情况。
|
------------------------------------- INSERT BUFFER AND ADAPTIVE HASH INDEX ------------------------------------- Ibuf: size 1, free list len 30, seg size 32, 8069 merges merged operations: insert 6063, delete mark 2347, delete 73 discarded operations: insert 0, delete mark 0, delete 0 Hash table size 8850419, node heap has 1562 buffer(s) 34.71 hash searches/s, 127.48 non-hash searches/s --- LOG --- Log sequence number 94417057034 Log flushed up to 94417055332 Last checkpoint at 94415342503 Max checkpoint age 650641675 Checkpoint age target 630309123 Modified age 1714531 Checkpoint age 1714531 0 pending log writes, 0 pending chkp writes 3724702 log i/o's done, 1.39 log i/o's/second |
seg size显示了当前插入缓冲的大小为32*16K，size代表使用了的插入缓冲，free list len代表空闲的插入缓冲。等待完善标记
2.4.2、两次写
两次写给innodb带来的是可靠性，主要用来解决部分写失败(partial page write)。doublewrite有两部分组成，一部分是内存中的doublewrite buffer，大小为2M，另外一部分就是物理磁盘上的共享表空间中联系的128个页，即两个区，大小同样为2M。当缓冲池的张也刷新时，并不直接写硬盘，而是回通过memcpy函数将脏页先拷贝到内存中的doublewrite buffer，之后通过doublewrite buffer再分两次写，每次写入1M到共享表空间的物理磁盘上，然后马上调用fsync函数，同步磁盘。以下命令可以查看doublewrite的使用情况。
|
mysql> show global status like 'innodb_dblwr%'; +----------------------------+----------+ | Variable_name | Value | +----------------------------+----------+ | Innodb_dblwr_pages_written | 60511554 | | Innodb_dblwr_writes | 828734 | +----------------------------+----------+ |
这台DB doublewrite一共写了60511554个页，但实际写入次数为828734，60511554/828734=73。说明这台DB的压力一般。slave上可以通过设置skip_innodb_doublewrite参数关闭两次写功能来提高性能，但是master上一定要开启此功能，保证数据安全。
2.4.3、自适应哈西索引
由于innodb不支持hash索引，但是在某些情况下hash索引的效率很高，于是出现了 adaptive hash index功能，innodb存储引擎会监控对表上索引的查找，如果观察到建立hash索引可以提高性能的时候，则自动建立hash索引。可以通过show engine innodb status\G来查看自适应哈西索引的使用情况。可以使用innodb_adaptive_hash_index来禁用和启用hash索引，默认开启。
2.5、启动、关闭、恢复
在关闭数据库时，innodb_fast_shutdown影响innodb存储引擎的行为。该参数有0、1、2三个参数。0代表mysql关闭时，innodb需要完成所有的full purge和merge insert buffer操作。1是默认值，表示不需要完成上述的full purge和merge insert buffer操作，但是缓冲池的一些数据脏页还是回刷新到磁盘。2表示不完成full purge和merge insert buffer操作，也不将缓冲池中的脏页回写磁盘，而是将日志都写入日志文件。
innodb_force_recovery影响整个innodb存储引擎的恢复状况，该值默认为0，表示当需要恢复时，需要执行所有的恢复操作，当不能进行有效恢复时，如数据页发生了corruption，mysql数据库可能宕机，并把错误写入错误日志中。
innodb_force_recovery还可以设置1-6这个几个值。大的数字包含小数字的影响。
1(SRV_FORCE_IGNORE_CORRUPT):忽略检查到corrupt页。
2(SRV_FORCE_NO_BACKGROUND):阻止主线程的运行，如主线程需要执行full purge操作，会导致crash。
3(SRV_FORCE_NO_TRX_UNDO)不知行事务回滚操作
4(SRV_FORCE_NO_IBUF_MERGE)不执行插入缓冲的合并操作
5(SRV_FORCE_NO_UNDO_LOG_SCAN)不查看撤销日志undo log。innodb存储引擎会将未提交的事务视为已提交
6(SRV_FORCE_NO_LOG_REDO)不执行前滚的操作
2.6、innodb plugin = 新版本的innodb存储引擎
mysql-5.1使用了插件式的架构。在mysql-5.1.38前，安装innodb plugin必须下载plugin的文件，再进行一系列的安装。
第三章、文件
3.1参数文件
my.cnf文件。
3.1.1、什么是参数
键=值
3.1.2、参数类型
分为global和session
3.2、日志文件
3.2.1、错误日志
show global variables like ‘log_error’;
3.2.2、慢查询日志
show global variables like ‘%long%’;
show global variables like ‘log_slow_queries’; //mysql-5.1.2开始支持微妙级慢查询。
show global variables like ‘log_queryies_not_using_indexs’; //未使用索引的查询
mysql-5.1开始可以将慢查询放入log_output表中。
3.2.3、查询日志
mysql-5.1开始可以将查需日志放入general_log表中
3.2.4、二进制日志
主要功能
恢复 基于时间点的恢复
复制
以下参数影响二进制日志
max_binlog_size
binlog_cache_size
sync_binlog
binlog-do-db
binlog-ignore-db
log-slave-update
binlog_format
将binlog_format设置成row，可以支持事务隔离级别为READ COMMITTED，以获得更好的并发性。
在使用MIXED格式下，mysql采用STATEMENT格式进行二进制日志文件的记录，但是有一些情况下会使用ROW格式，可能的情况如下：
1、表的存储引擎为NDB，这个时候DML操作都会以ROW格式记录
2、使用了uuid()、user(),current_user(),found_rows(),row_count(),等不确定函数。
3、使用了insert delay语句
4、使用了用户定于的函数(UDF)
5、使用了临时表(temporary table)
注意：针对系统库mysql里面的表发生变化的处理规则如下：
1、如果采用insert，update，delete直接操作表，则日志根据binlog_format设定的格式记录。
2、如果使用grant，revoke，set password等DCL语句，那么无论如何都会使用SBR模式记录。
3、blockhole引擎不支持row格式，ndb引擎不支持statement格式。
3.3、套件字文件
show variables likea ‘socket’;
3.4、pid文件
show variables like ‘pid_file’;
3.5、表结构定义文件
*.frm
3.6、innodb引擎文件
重做日志文件，表空间文件
3.6.1、表空间文件
默认会有一个大小10M的tablespace file，名字叫ibdata1.可以通过innodb_data_file_path=/db/ibdata1:2000M;/dr2/db/ibdata2:2000M:autoextend 来配置。这里使用了两个文件来组成的表空间，如果他们不在一个磁盘上的话，对IO性能会有所优化。
还有一个innodb_file_per_table，这个参数会让每个innodb引擎的表都单独产生一个表空间。
注意：单独表空间只保存该表的数据，索引和插入缓冲等信息，其余信息还是保存在共享表空间的(undo页，系统事务信息，二次写)。
3.6.2、重做日志文件(redo log)
redo log是在实例或者介质失败的时候，用来保证数据完整性。
每个innodb存储引擎至少有一个重做日志组,每个重做日志文件组下至少又2个重做日志文件，如默认的ib_logfile0、ib_logfile1.为了得到更高的可靠性，你可以设置多个重做镜像日志组(mirrored log groups)。
innodb_log_file_size //指定重做日志文件的大小
innodb_log_files_in_group //指定重做日志组中文件的数量，默认为2
innodb_mirrored_log_groups //指定日志镜像文件组的数量，默认为1
innodb_log_group_home_dir //指定了日志文件组所在的路径
还有一个很重要的参数与redo log相关，那就是innodb_flush_log_at_trx_commit的值，对innodb的性能影响很大。他有0，1，2三个值，0代表提交事务时，并不同步写redo log，而是等master threas每秒写。1代表commit的时候就将redo log缓存写入磁盘，2代表commit的时候将redo log缓存异步的写入磁盘。
