MySQL（一）：MySQL数据库事务与锁

基本概念

事务是指满足ACID特性的的一组操作，可以通过Commit提交事务，也可以也可以通过Rollback进行回滚。会存在中间态和一致性状态（也是真正在数据库表中存在的状态）

ACID

  • Atomicity【原子性】：事务被视为不可分割的最小单元，事务的所有操作要么全部提交成功，要么全部失败回滚。回滚可以用回滚日志（undo Log）来实现，回滚日志记录着事务所执行的修改操作，在回滚时反向执行这些修改操作即可

undoLog：为了满足事务的原子性，在操作任何数据之前，首先将数据备份到Undo Log，然后进行数据的修改。如果出现了错误或者用户执行了ROLLBACK语句，系统可以利用Undo Log中的备份将数据恢复到事务开始之前的状态。与redo log不同的是，磁盘上不存在单独的undo log文件，它存放在数据库内部的一个特殊段(segment)中，这称为undo段(undo segment)，undo段位于共享表空间内。Innodb为每行记录都实现了三个隐藏字段：6字节的事务ID（DB_TRX_ID）7字节的回滚指针（DB_ROLL_PTR）隐藏的ID

  • Consistency【一致性】：数据库在事务执行前后都保持一致性状态，在一致性状态下，所有事务对同一个数据的读取结果都是相同的
  • Isolation【隔离性】：一个事务所做的修改在最终提交前，对其他事务是不可见的
  • Durability【持久性】：一旦事务提交，则其所做的修改将会永远保存到数据库中，即使系统发生崩溃，事务执行的结果也不能丢失。系统发生崩溃可以用redoLog进行恢复，从而实现持久性。与undoLog记录数据的逻辑修改不同，redoLog记录的是数据页的物理修改
  • 小结：
    1. 只有满足一致性，事务的执行结果才是正确的。
    2. 在无并发的情况下，事务串行执行，隔离性一定能够满足。此时只要能够满足原子性，就一定能满足一致性。
    3. 在并发情况下，多个事务并行执行，事务不仅要满足原子性，还需要满足隔离性，才能满足一致性
    4. 事务满足持久化是为了能够应对系统崩溃的情况

AutoCommit

  • MySQL默认采用自动提交模式，也就是说，如果不显示使用start transaction语句来开始一个事务，那么每个操作都会被当做一个事务并自动提交

事务隔离级别

  • 未提交读【read uncommitted】：事务中的修改，即使没有提交，对其他事务也是可见的
  • 提交读【read committed】：一个事务只能读取已经提交的事务所做的修改，换句话说，一个事务所做的修改在提交之前对其他事务是不可见的
  • 可重复读【repeatable read】：保证在同一个事务中多次读取同一数据的结果是一样的
  • 可串行化【serializable】：强制事务串行执行，这样多个事务互不干扰，不会出现并发一致性问题，该隔离级别需要加锁实现，因为要使用加锁机制保证同一时间只有一个事务执行，也就是保证事务串行执行

并发一致性问题

背景

在并发环境下，事务的隔离性很难保证，因此会出现很多并发一致性问题

主要场景

  • 丢失修改：丢失修改指一个事务更新操作被另外一个事务的更新操作替换。例如：T1 和 T2 两个事务都对一个数据进行修改，T1 先修改并提交生效，T2 随后修改，T2 的修改覆盖了 T1 的修改。
    业务场景：用户修改地址有修改地址信息和设置默认地址或者删除地址，这三个场景都是调用的同一个update语句。提供给用户更新地址的接口需要支持用户可设置默认地址，而不能将更新地址信息和设置默认地址分开提供接口，如果分开提供，上层服务调用实际上是一下子调用两个更新接口，这样很容易会出现丢失修改的场景。
  • 读脏数据：读脏数据指在不同的事务下，当前事务可以读取到另外事务未提交的数据，例如：T1 修改一个数据但未提交，T2 随后读取这个数据。如果 T1 撤销了这次修改，那么 T2 读取的数据是脏数据。
  • 不可重复读：不可重复读指在一个事务内多次读取同一数据集合，在这一事务还未结束前，另一个事务也访问了该同一数据集合并做了修改，由于第二个事务的修改，第一次事务的两次读取的数据可能不一致。例如：T2 读取一个数据，T1 对该数据做了修改。如果 T2 再次读取这个数据，此时读取的结果和第一次读取的结果不同。
  • 幻影读：幻读本质上也属于不可重复读的情况，T1读取某个范围的数据，T2在这个范围内插入新的数据，T1再次读取这个范围的数据，此时读取的结果和第一次读取的结果不同
  • 小结：
    产生并发不一致性问题的主要原因是破坏了事务的隔离性，解决方法是通过并发控制来保证隔离性。并发控制可以通过封锁来实现，但是封锁操作需要用户自己控制，相当复杂。数据库管理系统提供了事务的隔离级别，让用户以一种更轻松的方式处理并发一致性问题。

锁

封锁粒度：

  • 行级锁：只封锁需要修改的那部分数据或那行，不是封锁所有资源，发生锁争用的可能小，系统并发程度高
  • 表级锁：封锁整个表，锁定数据量太大，发生锁争用的概率大大加大，系统并发性能直线下滑

注意：加锁就会消耗资源，锁的各种操作【包括获取锁，释放锁，检查锁状态都会增加系统开销，因此封锁的粒度越小，系统开销越大】，在选择封锁粒度时，需要在锁开销和并发程度之间做一个权衡

封锁类型

读写锁

  • 互斥锁，简写为X锁，又称写锁。
    一个事务对数据对象 A 加了 X 锁，就可以对 A 进行读取和更新。加锁期间其它事务不能对 A 加任何锁。
  • 共享锁，简写为S锁，又称读锁。
    一个事务对数据对象 A 加了 S 锁，可以对 A 进行读取操作，但是不能进行更新操作。加锁期间其它事务能对 A 加 S 锁，但是不能加 X 锁。

意向锁

主要是表锁，但是不会真的锁

  • 在存在行级锁和表级锁的情况下，事务 T 想要对表 A 加 X 锁，就需要先检测是否有其它事务对表 A 或者表 A 中的任意一行加了锁，那么就需要对表 A 的每一行都检测一次，这是非常耗时的。
    意向锁在原来的 X/S 锁之上引入了 IX/IS，IX/IS 都是表锁，用来表示一个事务想要在表中的某个数据行上加 X 锁或 S 锁。
    有以下两个规定：
    一个事务在获得某个数据行对象的 S 锁之前，必须先获得表的 IS 锁或者更强的锁；
    一个事务在获得某个数据行对象的 X 锁之前，必须先获得表的 IX 锁。
    通过引入意向锁，事务 T 想要对表 A 加 X 锁，只需要先检测是否有其它事务对表 A 加了 X/IX/S/IS 锁，如果加了就表示有其它事务正在使用这个表或者表中某一行的锁，因此事务 T 加 X 锁失败。
  • 任意 IS/IX 锁之间都是兼容的，因为它们只表示想要对表加锁，而不是真正加锁；
    这里兼容关系针对的是表级锁，而表级的 IX 锁和行级的 X 锁兼容，两个事务可以对两个数据行加 X 锁。
    （事务 T1 想要对数据行 R1 加 X 锁，事务 T2 想要对同一个表的数据行 R2 加 X 锁，两个事务都需要对该表加 IX 锁，但是 IX 锁是兼容的，并且 IX 锁与行级的 X 锁也是兼容的，因此两个事务都能加锁成功，对同一个表中的两个数据行做修改。）

MySQL隐式与显示锁定

  • 隐式锁定：MySQL 的 InnoDB 存储引擎采用两段锁协议，会根据隔离级别在需要的时候自动加锁，并且所有的锁都是在同一时刻被释放，这被称为隐式锁定

两段锁协议:加锁和解锁分为两个阶段进行，可串行化调度是指通过并发控制，使得并发执行的事务结果与某个串行执行的事务结果相同，串行执行的事务互不干扰，不会出现并发一致性问题

  • 或者使用特定语句进行显示锁定SELECT ... LOCK In SHARE MODE;（共享锁）SELECT ... FOR UPDATE;（排他锁）事务完成提交自动释放锁

MySQL三级封锁协议

  • 一级封锁协议：事务T要修改数据A时必须加X锁，知道事务T结束才释放锁可以解决丢失修改问题。这时候不能同时有两个事务对同一个数据进行修改，那么事务的修改就不会被覆盖
  • 二级封锁协议：在一级基础上，要求读取数据A时必须加S锁，读取完马上释放S锁可以解决读脏数据问题。因为如果有一个事务在对数据A进行修改，根据1级封锁协议，会加X锁，那么就不能再加S锁了，也就是不会读入脏数据
  • 三级封锁协议：在二级基础上，要求读取数据时必须加S锁，直到事务结束了才能释放S锁可以解决不可重复读的问题，因为读A时，其他事务不能对A加X锁，从而避免了在读期间数据发生改变

InnoDB引擎的锁实现

MVCC

  • 多版本并发控制是MySQL的innoDB存储引擎实现隔离级别的一种具体方式，可用于实现提交读和可重复读这两种隔离级别，而未提交读隔离级别总是读取最新的数据行，要求很低，无需使用MVCC
  • 在封锁一节中提到，加锁能解决多个事务同时执行时出现的并发一致性问题。在实际场景中读操作往往多于写操作，因此又引入了读写锁来避免不必要的加锁操作，例如读和读没有互斥关系。读写锁中读和写操作仍然是互斥的，而 MVCC 利用了多版本的思想，写操作更新最新的版本快照，而读操作去读旧版本快照，没有互斥关系，这一点和 CopyOnWrite 类似。
  • 在 MVCC 中事务的修改操作（DELETE、INSERT、UPDATE）会为数据行新增一个版本快照。脏读和不可重复读最根本的原因是事务读取到其它事务未提交的修改。在事务进行读取操作时，为了解决脏读和不可重复读问题，MVCC 规定只能读取已经提交的快照。当然一个事务可以读取自身未提交的快照，这不算是脏读。
  • 系统版本号 SYS_ID：是一个递增的数字，每开始一个新的事务，系统版本号就会自动递增。
  • 事务版本号 TRX_ID ：事务开始时的系统版本号。
  • MVCC的多版本指的是多个版本的快照，快照存储在Undo日志中，该日志通过回滚指针ROLL_PTR把一个数据行的所有快照连接起来
  • INSERT、UPDATE、DELETE 操作会创建一个日志，并将事务版本号 TRX_ID 写入。DELETE 可以看成是一个特殊的 UPDATE，还会额外将 DEL 字段设置为 1

ReadView

  • MVCC维护了一个ReadView结构，主要包含了当前系统未提交的事务列表，还有该列表的最小值和最大值
  • 在进行 SELECT 操作时，根据数据行快照的 TRX_ID 与 TRX_ID_MIN 和 TRX_ID_MAX 之间的关系，从而判断数据行快照是否可以使用。
    • TRX_ID < TRX_ID_MIN，表示该数据行快照时在当前所有未提交事务之前进行更改的，因此可以使用。
    • TRX_ID > TRX_ID_MAX，表示该数据行快照是在事务启动之后被更改的，因此不可使用。
    • TRX_ID_MIN <= TRX_ID <= TRX_ID_MAX，需要根据隔离级别再进行判断
      • 提交读：如果 TRX_ID 在 TRX_IDs 列表中，表示该数据行快照对应的事务还未提交，则该快照不可使用。否则表示已经提交，可以使用。
      • 可重复读：都不可以使用。因为如果可以使用的话，那么其它事务也可以读到这个数据行快照并进行修改，那么当前事务再去读这个数据行得到的值就会发生改变，也就是出现了不可重复读问题。在数据行快照不可使用的情况下，需要沿着 Undo Log 的回滚指针 ROLL_PTR 找到下一个快照，再进行上面的判断。

快照读和安全读

  • 快照读：MVCC的select操作是快照中的数据，不需要进行加锁操作
  • 当前读：MVCC其它会对数据库进行修改的操作就需要进行加锁操作，从而读取最新的数据，可以看到MVCC并不是完全不用加锁，而只是避免了select的加锁操作

如果需要select进行加锁，就可以强制指定加锁操作，如之前提到的共享锁和排他锁

Next-Key Locks

  • 概念：Next-Key Locks 是 MySQL 的 InnoDB 存储引擎的一种锁实现。MVCC 不能解决幻影读问题，Next-Key Locks 就是为了解决这个问题而存在的。在可重复读（REPEATABLE READ）隔离级别下，使用 MVCC + Next-Key Locks 可以解决幻读问题。
  • Record Locks：锁定一个记录上的索引，而不是记录本身，如果表没有设置索引，InnoDB会自动在主键上创建隐藏的聚簇索引
  • Gap Locks：锁定索引之间的间隙，但是不包含索引本身。例如当一个事务执行以下语句SELECT c FROM t WHERE c BETWEEN 10 and 20 FOR UPDATE;
  • Next-Key Locks：它是 Record Locks 和 Gap Locks 的结合，不仅锁定一个记录上的索引，也锁定索引之间的间隙。它锁定一个前开后闭区间，例如一个索引包含以下值：10, 11, 13, and 20，那么就需要锁定以下区间：(-∞, 10](10, 11](11, 13](13, 20](20, +∞)

总结

上述理论较多，但是也是这些理论支撑整个研发过程，遇到多种业务场景时，需要根据数据库的隔离级别判断事务会不会出现死锁，数据不一致等等理论性问题。MySQL最厉害的地方也是在RR【可重复读】级别下避免了幻读，即兼顾性能又保证数据安全。
在开发微服务或者分布使项目时。尽量将事务写的简单些，让事务不会长时间锁住对应的行。这样也是保证了数据的一致性

posted @ 2020-12-12 16:32  方块人  阅读(638)  评论(0)  编辑  收藏  举报