redo日志刷盘策略与过程
- redo日志的组成
1、重做日志的缓冲(reldolog buffer),保存在内存中,是易失的。
在服务器启动时就向操作系统申请了一大片称之为redo log buffer的连续内存空间,翻译成中文就是redo日志缓冲 区。这片内存空间被划分成若干个
连续的redo log block。一个redo log block占用512字节大小
redo log buffer 大小,默认 16M ,最大值是4096M,最小值为1M。
show variables like '%innodb_log_buffer_size%'; # 查看大小
2、重做日志文件(redo log file),保存在硬盘中,是持久的。
-
log buffer结构图
-
redo的整体流程,以一个更新事务为例
第1步:先将原始数据从磁盘中读入内存中来,修改数据的内存拷贝
第2步:生成一条重做日志并写入redo log buffer,记录的是数据被修改后的值
第3步:当事务commit时,将redo log buffer中的内容刷新到 redo log file,对 redo log file采用追加写的方式
第4步:定期将内存中修改的数据刷新到磁盘中
- redo log的刷盘策略
redo log的写入并不是直接写入磁盘的,InnoDB引擎会在写redo log的时候先写redo log buffer,之后以 一定的频率 刷入到真正的redo log file 中。这里的一定频率就是刷盘策略。
注意,redo log buffer刷盘到redo log file的过程并不是真正的刷到磁盘中去,只是刷入到 文件系统缓存(page cache)中去(这是现代操作系统
为了提高文件写入效率做的一个优化),真正的写入会交给系统自己来决定(比如page cache足够大了)。那么对于InnoDB来说就存在一个问题,如果交给系统来同步,同样如果系统宕机,那么数据也丢失了(虽然整个系统宕机的概率还是比较小的)
针对这种情况,InnoDB给出 innodb_flush_log_at_trx_commit 参数,该参数控制 commit提交事务时,如何将 redo log buffer 中的日志刷新到
redo log file 中。它支持三种策略:
设置为0 :表示每次事务提交时不进行刷盘操作。(系统默认master thread每隔1s进行一次重做日志的同步)
设置为1 :表示每次事务提交时都将进行同步,刷盘操作( 默认值 )
设置为2 :表示每次事务提交时都只把 redo log buffer 内容写入 page cache,不进行同步。由os自己决定什么时候同步到磁盘文件
- 代码案例
USE atguigudb3;
# 创建表
CREATE TABLE test_load(
a INT,
b CHAR(80)
)ENGINE=INNODB;
#创建存储过程,用于向test_load中添加数据
DELIMITER//
CREATE PROCEDURE p_load(COUNT INT UNSIGNED)
BEGIN
DECLARE s INT UNSIGNED DEFAULT 1;
DECLARE c CHAR(80)DEFAULT REPEAT('a',80);
WHILE s<=COUNT DO
INSERT INTO test_load SELECT NULL,c;
COMMIT;
SET s=s+1;
END WHILE;
END //
DELIMITER;
#测试1:
#设置并查看:innodb_flush_log_at_trx_commit
SHOW VARIABLES LIKE 'innodb_flush_log_at_trx_commit';
# 设置为1
set GLOBAL innodb_flush_log_at_trx_commit = 1;
#调用存储过程
CALL p_load(30000); # 耗时1min 28sec
#测试2:
# 清空表中数据
TRUNCATE TABLE test_load;
# 表中没有数据
SELECT COUNT(*) FROM test_load;
# 设置为0
SET GLOBAL innodb_flush_log_at_trx_commit = 0;
# 查看
SHOW VARIABLES LIKE 'innodb_flush_log_at_trx_commit';
#调用存储过程
CALL p_load(30000); # 耗时37.945 sec
#测试3:
# 清空表中数据
TRUNCATE TABLE test_load;
# 查看
SELECT COUNT(*) FROM test_load;
# 设置为2
SET GLOBAL innodb_flush_log_at_trx_commit = 2;
# 查看
SHOW VARIABLES LIKE 'innodb_flush_log_at_trx_commit';
# 调用存储过程
CALL p_load(30000); # 耗时45.173 sec