第二讲:事务隔离:为什么你改了我还看不见
第二讲:事务隔离:为什么你改了我还看不见
定义
事务就是要保证一组数据库操作,要么全部成功,要么全部失败。在 MySQL 中,事务支持是在引擎层实现的。你现在知道,MySQL 是一个支持多引擎的系统,但并不是所有的引擎都支持事务。比如 MySQL 原生的 MyISAM 引擎就不支持事务,这也是 MyISAM 被 InnoDB 取代的重要原因之一。
我将会以 InnoDB 为例,剖析 MySQL 在事务支持方面的特定实现,并基于原理给出相应的实践建议,希望这些案例能加深你对 MySQL 事务原理的理解。
隔离性与隔离级别
提到事务,你肯定会想到 ACID(Atomicity、Consistency、Isolation、Durability,即原子性、一致性、隔离性、持久性),今天我们就来说说其中 I,也就是“隔离性”。
隔离的缘由
当数据库上有多个事务同时执行的时候,就可能出现脏读、不可重复读、幻读的问题,为了解决这些问题,就有了“隔离级别”的概念。
隔离的弊端
在谈隔离级别之前,你首先要知道,你隔离得越严实,效率就会越低。因此很多时候,我们都要在二者之间寻找一个平衡点。
事务隔离级别
SQL 标准的事务隔离级别包括:读未提交、读提交、可重复读和串行化。下面我逐一为你解释:
读未提交是指,一个事务还没提交时,它做的变更就能被别的事务看到。
读提交是指,一个事务提交之后,它做的变更才会被其他事务看到。
可重复读是指,一个事务执行过程中看到的数据,总是跟这个事务在启动时看到的数据是一致的。当然在可重复读隔离级别下,未提交变更对其他事务也是不可见的。
串行化,顾名思义是对于同一行记录,“写”会加“写锁”,“读”会加“读锁”。当出现读写锁冲突的时候,后访问的事务必须等前一个事务执行完成,才能继续执行。
一个极为恰当的例子(重点关注“读提交”和“可重复读”):
假设数据表 T 中只有一列,其中一行的值为 1,下面是按照时间顺序执行两个事务的行为。
#事务A:
mysql> create table T(c int) engine=InnoDB;
#事务B:
insert into T(c) values(1);
我们来看看在不同的隔离级别下,事务 A 会有哪些不同的返回结果,也就是图里面 V1、V2、V3 的返回值分别是什么。
若隔离级别是“读未提交”
则 V1 的值就是 2。这时候事务 B 虽然还没有提交,但是结果已经被 A 看到了。因此,V2、V3 也都是 2。
若隔离级别是“读提交”
则 V1 是 1,V2 的值是 2。事务 B 的更新在提交后才能被 A 看到。所以, V3 的值也是 2。
若隔离级别是“可重复读”
则 V1、V2 是 1,V3 是 2。之所以 V2 还是 1,遵循的就是这个要求:事务在执行期间看到的数据前后必须是一致的。
若隔离级别是“串行化”
则在事务 B 执行“将 1 改成 2”的时候,会被锁住。直到事务 A 提交后,事务 B 才可以继续执行。所以从 A 的角度看, V1、V2 值是 1,V3 的值是 2。
数据库以视图方式执行
-
在实现上,数据库里面会创建一个视图,访问的时候以视图的逻辑结果为准。
-
在“可重复读”隔离级别下,这个视图是在事务启动时创建的,整个事务存在期间都用这个视图。
-
在“读提交”隔离级别下,这个视图是在每个 SQL 语句开始执行的时候创建的。
-
这里需要注意的是,“读未提交”隔离级别下直接返回记录上的最新值,没有视图概念;
-
而“串行化”隔离级别下直接用加锁的方式来避免并行访问。
引申:数据库迁移的注意事项
像是Oracle 数据库的默认隔离级别其实就是“读提交”,因此对于一些从 Oracle 迁移到 MySQL 的应用,为保证数据库隔离级别的一致,你一定要记得将 MySQL 的隔离级别设置为“读提交”。
如何配置默认级别
配置的方式是,将启动参数 transaction-isolation 的值设置成 READ-COMMITTED。你可以用 show variables 来查看当前的值。
mysql> show variables like 'transaction_isolation';
+-----------------------+----------------+
| Variable_name | Value | |
+-----------------------+----------------+
| transaction_isolation | READ-COMMITTED |
+-----------------------+----------------+
或者:
mysql> select @@transaction_isolation;
+-------------------------+
| @@transaction_isolation |
+-------------------------+
| READ-COMMITTED |
+-------------------------+
设置本次会话的事务隔离级别,只在本会话有效,不会影响到其它会话
set session transaction isolation level read committed;
设置全局的事务隔离级别,该设置不影响已经连接的会话,完毕后,新打开的会话,将使用新设置的事务隔离级别
set global transaction isolation level read committed;
总结来说,存在即合理,每种隔离级别都有自己的使用场景,你要根据自己的业务情况来定。
提问:什么时候需要“可重复读”的场景呢
假设你在管理一个个人银行账户表。一个表存了账户余额,一个表存了账单明细。到了月底你要做数据校对,也就是判断上个月的余额和当前余额的差额,是否与本月的账单明细一致。你一定希望在校对过程中,即使有用户发生了一笔新的交易,也不影响你的校对结果。这时候使用“可重复读”隔离级别就很方便。事务启动时的视图可以认为是静态的,不受其他事务更新的影响。
事务隔离的实现
理解了事务的隔离级别,我们再来看看事务隔离具体是怎么实现的。这里我们展开说明“可重复读”。
在 MySQL 中,实际上每条记录在更新的时候都会同时记录一条回滚操作。记录上的最新值,通过回滚操作,都可以得到前一个状态的值。
假设一个值从 1 被按顺序改成了 2、3、4,在回滚日志里面就会有类似下面的记录。
当前值是 4,但是在查询这条记录的时候,不同时刻启动的事务会有不同的 read-view。如图中看到的,在视图 A、B、C 里面,这一个记录的值分别是 1、2、4,同一条记录在系统中可以存在多个版本,就是数据库的多版本并发控制(MVCC)。对于 read-view A,要得到 1,就必须将当前值依次执行图中所有的回滚操作得到。
同时你会发现,即使现在有另外一个事务正在将 4 改成 5,这个事务跟 read-view A、B、C 对应的事务是不会冲突的。
深入解释:
A 开启事务,创建视图 A; B 开启事务,创建视图 B,将 c 从 1 改为 2,同时向视图 A、B 中记录一条回滚记录(将 c 从 2 改回 1); C 开启事务,创建视图 C,此时 c 的值为 2,将 c 从 2 改为 3,同时向视图 A、B、C 中记录一条回滚日志(将 c 从 3 改回 2); 此时视图 A 中有两条回滚记录,事务 A 再次获取 c 时依次执行这两条回滚记录,即可得到 c 最开始的值 1。
这里有行锁保证不会出现一个事务把4改到5,然后另外一个事务回滚的情况
在这个事务提交之前,该数据的最新值依然是 4 ! read-view ABC 都是去获得 4 ,然后再回滚到相应的版本!
假如有事务d将4改成5,都不会影响read-view-A,read-view-B,read-view-C。这3个读视图分别将当前值做相应的回滚操作得到。 主要体现‘可重复读’的基本原理。
问题:回滚日志什么时候删除
当系统里没有比这个回滚日志更早的 read-view 的时候。
基于上面的问题,为什么建议你尽量不要使用长事务。
长事务意味着系统里面会存在很老的事务视图。由于这些事务随时可能访问数据库里面的任何数据,所以这个事务提交之前,数据库里面它可能用到的回滚记录都必须保留,这就会导致大量占用存储空间。
除了对回滚段的影响,长事务还占用锁资源,也可能拖垮整个库,这个我们会在后面讲锁的时候展开。
一个离谱的案例
在 MySQL 5.5 及以前的版本,回滚日志是跟数据字典一起放在 ibdata 文件里的,即使长事务最终提交,回滚段被清理,文件也不会变小。我见过数据只有 20GB,而回滚段有 200GB 的库。最终只好为了清理回滚段,重建整个库。
事务的启动方式
如前面所述,长事务有这些潜在风险,我当然是建议你尽量避免。其实很多时候业务开发同学并不是有意使用长事务,通常是由于误用所致。
第一种:
显式启动事务语句, begin 或 start transaction(个人建议start transaction)。配套的提交语句是 commit,回滚语句是 rollback。
第二种:
set autocommit=0,这个命令会将这个线程的自动提交关掉。意味着如果你只执行一个 select 语句,这个事务就启动了,而且并不会自动提交。这个事务持续存在直到你主动执行 commit 或 rollback 语句,或者断开连接。
离谱的是:
有些客户端连接框架会默认连接成功后先执行一个 set autocommit=0 的命令。这就导致接下来的查询都在事务中,如果是长连接,就导致了意外的长事务。
解决方案:
我会建议你总是使用 set autocommit=1, 通过显式语句的方式来启动事务。
补充点:
autocommit=1;表示MySQL自动开启和提交事务。 比如执行一个update语句,语句只完成后就自动提交了。不需要显示的使用begin、commit来开启和提交事务。 所以,当我们需要对某些操作使用事务的时候,手动的用begin、commit来开启和提交事务。
通过如下命令验证了,的确只是执行一个查询,innodb_trx表中就多了一条RUNNING的事务
select * from information_schema.innodb_trx ;
set autocommit=0 select * from user;
select * from information_schema.innodb_trx ;
这个set操作,相当于是一个数据库全局级别的开关,设为0,就会导致任何语句都开启事务。
1、START TRANSACTION 后,不管autocommit 是1还是0 。 只有当commit数据才会生效,ROLLBACK后就会回滚。
2、当autocommit 为 0 时,不管有没有START TRANSACTION。 只有当commit数据才会生效,ROLLBACK后就会回滚。
3、如果autocommit 为1 ,并且没有START TRANSACTION 。 会自动commit。调用ROLLBACK是没有用的。即便设置了SAVEPOINT。
显式开启事务,需要手动提交;非显式开启的事务,需要看autocommit参数,0需要手动提交,1自动提交。
如果在存储过程中,事务的 begin 和 存储过程的 begin 会冲突,最好使用 start transaction
问题:
我给你留一个问题吧。你现在知道了系统里面应该避免长事务,如果你是业务开发负责人同时也是数据库负责人,你会有什么方案来避免出现或者处理这种情况呢?
这个问题,我们可以从应用开发端和数据库端来看。
首先,从应用开发端来看:
确认是否使用了 set autocommit=0。这个确认工作可以在测试环境中开展,把 MySQL 的 general_log 开起来,然后随便跑一个业务逻辑,通过 general_log 的日志来确认。一般框架如果会设置这个值,也就会提供参数来控制行为,你的目标就是把它改成 1。
确认是否有不必要的只读事务。有些框架会习惯不管什么语句先用 begin/commit 框起来。我见过有些是业务并没有这个需要,但是也把好几个 select 语句放到了事务中。这种只读事务可以去掉。
业务连接数据库的时候,根据业务本身的预估,通过 SET MAX_EXECUTION_TIME 命令,来控制每个语句执行的最长时间,避免单个语句意外执行太长时间。(为什么会意外?在后续的文章中会提到这类案例)
其次,从数据库端来看:
监控 information_schema.Innodb_trx 表,设置长事务阈值,超过就报警 / 或者 kill;
Percona 的 pt-kill 这个工具不错,推荐使用;
在业务功能测试阶段要求输出所有的 general_log,分析日志行为提前发现问题;
如果使用的是 MySQL 5.6 或者更新版本,把 innodb_undo_tablespaces 设置成 2(或更大的值)。如果真的出现大事务导致回滚段过大,这样设置后清理起来更方便。