mysql innodb 读mysql技术内幕 InnoDB
---恢复内容开始--- 以前对于各种引擎也稍微有点理解,可是却并没有深入研究过,最近打算看看Innodb引擎, InnoDB 存储引擎 前言: 数据库:物理操作系统文件或其他形式文件类型的集合, 数据库实例:有数据库后台进程/线程以及一个共享内存区组成 mysql被设计成了一个单进程多线程架构的数据库 开始: 1、默认的InnoDB存储引擎的后台线程有7个,4个IO thread ,1个master thread 1个锁监控 thread 1个错误监控thread,IO thread 的数量由配置文件的innodb_file_io_threads参数控制,默认是4,linux下面不可以调整,但是window下面可以 show engine innodb status \G;(root用户,或者你的用户有查看权限) show variables like 'innodb_version' \G; show variables like 'innodb_%io_threads' \G; 注释:我十分建议大家安装独立的mysql,不要用集成环境,因为出现问题会后悔死的 2、innodb存储引擎内存有以下部分: buffer pool 缓冲池 redo log buffer 重做日志缓冲池 additional memory pool 额外内存池 配置文件的innodb: # Comment the following if you are using InnoDB tables #skip-innodb innodb_data_home_dir = "D:/xampp/mysql/data" innodb_data_file_path = ibdata1:10M:autoextend innodb_log_group_home_dir = "D:/xampp/mysql/data" #innodb_log_arch_dir = "D:/xampp/mysql/data" ## You can set .._buffer_pool_size up to 50 - 80 % ## of RAM but beware of setting memory usage too high innodb_buffer_pool_size = 16M innodb_additional_mem_pool_size = 2M ## Set .._log_file_size to 25 % of buffer pool size innodb_log_file_size = 5M innodb_log_buffer_size = 8M innodb_flush_log_at_trx_commit = 1 innodb_lock_wait_timeout = 50
这是my.ini的配置,更多的InnoDB的配置,可以看my_innodb_heavy_4G.ini
注释:配置文件的值可能会根据不同的环境更改,上面的配置文件是在我安装之后默认的 3、缓冲池是用来存放各种数据的缓存,InnoDB存储引擎的工作方式是将数据库文件按页(每页16K)读取到缓冲池,然后按照最近最少使用(LRU)的算法保留在缓冲池中的缓存数据 输入:show engine innodb status\G; 显示:
Dictionary memory allocated 22124 Buffer pool size 1024 //表示有多少缓冲帧 buffer frame 每个buffer frame 16k Free buffers 876 //当前空闲的 buffer frame Database pages 147 //已经使用的 buffer frame Old database pages 0 Modified db pages 0 //表示脏页的数量 Pending reads 0 Pending writes: LRU 0, flush list 0, single page 0 Pages made young 0, not young 0 0.00 youngs/s, 0.00 non-youngs/s Pages read 144, created 3, written 37 0.00 reads/s, 0.00 creates/s, 0.00 writes/s No buffer pool page gets since the last printout Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.
注释:show engine innodb status 的命令显示的不是当前的状态,而是过去某个范围内的InnoDB存储引擎的状态 4、buffer pool里面的缓存的数据页类型有: 索引页 数据页 undo页 插入缓冲 insert buffer 自适应哈希索引 adaptive hash index InnoDB存储的锁信息 lock info 数据字典信息 data dictionary (DD) and so on; 5、在32位win下,参数innodb_buffer_pool_awe_mem_mb,可以启动地址窗口扩展(AWE)功能,突破32位下对内存使用的限制,但是一旦启动了AWE,InnoDB存储引擎将自动禁用adaptive hash index 6、日志缓冲将重做日志信息先放入这个缓冲区,然后按照一定的平率将其刷新到重做日志文件,不需要设置很大,保证每秒的产生事务量在这个缓冲大小即可 7、额外的内存池, 在Innodb存储引擎中,对内存的管理师通过一种被称为内存堆(heap)的方式进行的,对一些数据结构本身分配内存时,需要先从额外的内存池中申请,当内存不够时,才会从缓冲池中申请, innoDB的instance 会申请innodb_buffer_bool的space,
但是每个buffer pool 中的frame buffer(帧缓冲)还有对应的缓冲控制对象,buffer control block 因此当你的buffer pool足够大的时候,额外内存池也应该增大
adaptive hash index :默认是开启的,哈希索引只能用来搜索等值的查询.对于其他查找类型,如范围查找,是不能使用的.
注释:我的数据时模拟的百万级数据,但是我还是没有捕捉到adaptive hash index 的有关应用
二、master Thread 源码分析: 1、master thread n内部组成: 主循环(loop) 后台循环(background loop) 刷新循环(flush loop) 暂停循环(suspend loop) master thread会在这几个状态中切换,在负载很大的时候可能造成延迟delay, 每秒一次的操作包括: 日志缓冲刷新到磁盘,即使这个事务还没有提交(总是) 合并插入缓冲(Maybe) 至多刷新100个Innodb的缓冲池中的脏页到磁盘(Maybe) 如果当前用户没有活动,则切换到background loop(Maybe) 脏页比例: buf_get_modified_ratio_pct 是否超过了innodb_max_dirty_pages_pct这个参数,默认是90(90%) 如果超过了这个阀值,InnoDB认为需要做磁盘同步操作,将100脏页写入磁盘 full purge :删除无用的Undo页 在full purge 的过程中,先判断当前事务系统中已被删除的行是否可以删除,如果可以,会即可删除, full purge 的时候,每次最多删除20个Undo页
1_second :loop sleeps:睡眠 background:background loop flush:flush loop; InnoDB会对其内部进行一些优化,当压力大时并不是总是等待1秒钟,因为我们不可以认为1_seconds 和sleeps相同 某些情况下,二者只差可以被看做是数据库的负载压力 InnoDB的关键特性: 插入缓冲(insert buffer) //和data page 一样,是物理页的一个组成部分 两次写(double write) 自适应哈希索引(adaptive hash index) InnoDB的主键建立聚集(聚簇)索引,如果你的表不需要特殊的聚簇索引,一个好的做法就是使用代理主键(surrogate key)。 如果你的表没有主键,如果你的表里面存在not null并且 unique index,那么innodb就会选择该索引作为主键,否则就自己内建一个类似的rowid的列,6个字节的隐形字段 show table status from dbName;//查看数据库表的info
innodb_force_recovery :1-6;
1:SRV_FORCE_IGNORE_CORRUPT :忽略检查到corrupt页
2:SRV_FORCE_NO_BACKGROUND:阻止主线程的运行,如主线程需要full purge 操作,会导致crash
3:SRV_FORCE_NO_TRX_UNDO:不执行事务回滚操作
4:SRV_FORCE_NO_IBUF_MERAGE:不执行插入缓冲的合并操作
5:SRV_FORCE_NO_UNDO_LOG_SCAN:不查看撤销日志(undo log),Innodb存储引擎会将未提交的事务视为已提交
6:SRV_FORCE_NO_LOG_REDO:不执行前滚操作
if(innodb_force_recovery ){
you can do select ,create ,drop for table;
}
show variables like 'innodb_version'\G;查看innodb的varsion info