Redis-单机数据库-RDB持久化

RDB持久化

 

SAVE命令和BGSAVE命令可以用于生成RDB文件，创建RDB文件实际由rdb.c/rdbSave函数完成：

• SAVE 命令由服务器进程直接执行保存操作，所以该命令会阻塞服务器。
• BGSAVE 命令由子进程执行保存操作，所以该命令是异步的，不会阻塞服务器。

RDB文件的载入工作是在服务器启动时自动执行的，所以Redis并没有专门用于载入RDB文件的命令，只要Redis服务器在启动时检测到RDB文件存在，它就会自动载入RDB文件。载入RDB文件由rdb.c/rdbLoad函数完成。

服务器载入RDB文件期间会一直阻塞，直到载入完成。

值得一提的是，因为AOF文件的更新频率通常比RDB文件的更新频率高，所以如果服务器开启了AOF持久化功能，那么服务器会优先使用AOF文件来还原数据库状态，只有在AOF持久化功能处于关闭状态时，服务器才会使用RDB文件来还原数据库状态。

---

自动BGSAVE

Redis允许用户通过设置服务器配置的save选项，让服务器每隔一段时间自动执行一次BGSAVE命令。

用户可以通过指定配置文件或者传入启动参数的方式设置save选项，只要其中任意一个条件被满足，服务器就会执行BGSAVE命令。如果用户没有主动设置save选项，那么服务器会为save选项设置默认条件。接着，服务器程序会根据save选项所设置的保存条件，设置服务器状态redisServer结构的saveparams属性，saveparams属性是一个数组，数组中的每个元素都是一个saveparam结构，每个saveparam结构都保存了一个save选项设置的保存条件：秒数和修改次数。

除了saveparams数组之外，服务器状态还维持着一个dirty计数器，以及一个lastsave属性：

• dirty计数器记录距离上一次成功执行SAVE命令或者BGSAVE命令之后，服务器对数据库状态（服务器中的所有数据库）进行了多少次修改（包括写入、删除、更新等操作）。
• lastsave属性是一个UNIX时间戳，记录了服务器上一次成功执行SAVE命令或者BGSAVE命令的时间。

Redis的服务器周期性操作函数serverCron默认每隔100毫秒就会执行一次，该函数用于对正在运行的服务器进行维护，它的其中一项工作就是检查save选项所设置的保存条件是否已经满足，如果满足的话，就执行BGSAVE命令。

---

BGSAVE命令执行期间的服务器状态

BGSAVE命令执行期间，Redis服务器仍然可以继续处理客户端的命令请求，但是，服务器处理SAVE、BGSAVE、BGREWRITEAOF三个命令的方式会和平时有所不同。

1. 在BGSAVE命令执行期间，客户端发送的SAVE命令会被服务器拒绝，服务器禁止SAVE命令和BGSAVE命令同时执行是为了避免父进程（服务器进程）和子进程同时执行两个rdbSave调用，防止产生竞争条件。
2. 在BGSAVE命令执行期间，客户端发送的BGSAVE命令会被服务器拒绝，因为同时执行两个BGSAVE命令也会产生竞争条件。
3. BGREWRITEAOF和BGSAVE两个命令不能同时执行：

• • 如果BGSAVE命令正在执行，那么客户端发送的BGREWRITEAOF命令会被延迟到BGSAVE命令执行完毕之后执行。
  • 如果BGREWRITEAOF命令正在执行，那么客户端发送的BGSAVE命令会被服务器拒绝。

因为BGREWRITEAOF和BGSAVE两个命令的实际工作都由子进程执行，所以这两个命令在操作方面并没有什么冲突的地方，不能同时执行它们只是IO性能方面的考虑。

---

RDB文件结构

RDB 文件的最开头是 REDIS 部分， 这个部分的长度为 5 字节， 保存着 "REDIS" 五个字符。 通过这五个字符， 程序可以在载入文件时， 快速检查所载入的文件是否 RDB 文件。

db_version 长度为 4 字节， 它的值是一个字符串表示的整数， 这个整数记录了 RDB 文件的版本号， 比如 "0006" 就代表 RDB 文件的版本为第六版。

databases 部分包含着零个或任意多个数据库， 以及各个数据库中的键值对数据：

• 如果服务器的数据库状态为空（所有数据库都是空的）， 那么这个部分也为空， 长度为 0 字节。
• 如果服务器的数据库状态为非空（有至少一个数据库非空）， 那么这个部分也为非空， 根据数据库所保存键值对的数量、类型和内容不同， 这个部分的长度也会有所不同。

EOF 常量的长度为 1 字节， 这个常量标志着 RDB 文件正文内容的结束， 当读入程序遇到这个值的时候， 它知道所有数据库的所有键值对都已经载入完毕了。

check_sum 是一个 8 字节长的无符号整数， 保存着一个校验和， 这个校验和是程序通过对 REDIS 、 db_version 、 databases 、 EOF 四个部分的内容进行计算得出的。 服务器在载入 RDB 文件时， 会将载入数据所计算出的校验和与 check_sum 所记录的校验和进行对比， 以此来检查 RDB 文件是否有出错或者损坏的情况出现。

---

databases部分

每个非空的database在 RDB 文件中都可以保存为 SELECTDB 、 db_number 、 key_value_pairs 三个部分，

SELECTDB 常量的长度为 1 字节， 当读入程序遇到这个值的时候， 它知道接下来要读入的将是一个数据库号码。

db_number 保存着一个数据库号码， 根据号码的大小不同， 这个部分的长度可以是 1 字节、 2 字节或者 5 字节。 当程序读入 db_number 部分之后， 服务器会调用 SELECT 命令， 根据读入的数据库号码进行数据库切换， 使得之后读入的键值对可以载入到正确的数据库中。

key_value_pairs 部分保存了数据库中的所有键值对数据， 如果键值对带有过期时间， 那么过期时间也会和键值对保存在一起。 根据键值对的数量、类型、内容、以及是否有过期时间等条件的不同， key_value_pairs 部分的长度也会有所不同。

---

key_value_pairs部分

RDB 文件中的每个 key_value_pairs 部分都保存了一个或以上数量的键值对， 如果键值对带有过期时间的话， 那么键值对的过期时间也会被保存在内。

不带过期时间的键值对在 RDB 文件中对由 TYPE 、 key 、 value 三部分组成。

带过期时间的键值对由EXPIRETIME_MS、ms、TYPE 、key 、value 五部分组成。

---

字符串对象

TYPE 的值为 REDIS_RDB_TYPE_STRING

• 如果字符串对象的编码为 REDIS_ENCODING_INT ，则其结构为：

ENCODING 的值可以是 REDIS_RDB_ENC_INT8 、 REDIS_RDB_ENC_INT16 或者 REDIS_RDB_ENC_INT32 三个常量的其中一个。

• 如果字符串对象的编码为 REDIS_ENCODING_RAW，根据字符串长度的不同， 有原生和压缩两种方法来保存这个字符串：

和

---

列表对象

TYPE 的值为 REDIS_RDB_TYPE_LIST

•  value 保存的是一个 REDIS_ENCODING_LINKEDLIST 编码的列表对象，结构为：

每个item由该项的长度和字符串内容组成。

---

哈希对象

TYPE 的值为 REDIS_RDB_TYPE_HASH

• value 保存的是一个 REDIS_ENCODING_HT 编码的哈希对象，结构为：

每个key和value都由长度和字符串内容组成。

---

集合对象

TYPE 的值为 REDIS_RDB_TYPE_SET 

• value 保存的是一个 REDIS_ENCODING_HT 编码的集合对象，结构为：

每个elem都由长度和字符串内容组成。

---

有序集合对象

TYPE 的值为 REDIS_RDB_TYPE_ZSET 

• value 保存的是一个 REDIS_ENCODING_SKIPLIST 编码的有序集合对象，结构为：

score转换为字符串进行保存，每一个member和score都由长度和字符串内容组成。

---

RDB对象的转换

如果 TYPE 的值为 REDIS_RDB_TYPE_SET_INTSET ， 那么 value 保存的就是一个整数集合对象， RDB 文件保存这种对象的方法是， 先将整数集合转换为字符串对象， 然后将这个字符串对象保存到 RDB 文件里面。

如果程序在读入 RDB 文件的过程中， 碰到由整数集合对象转换成的字符串对象， 那么程序会根据 TYPE 值的指示， 先读入字符串对象， 再将这个字符串对象转换成原来的整数集合对象。

---

如果 TYPE 的值为 REDIS_RDB_TYPE_LIST_ZIPLIST 、 REDIS_RDB_TYPE_HASH_ZIPLIST 或者 REDIS_RDB_TYPE_ZSET_ZIPLIST ， 那么 value 保存的就是一个压缩列表对象， RDB 文件保存这种对象的方法是：

1. 将压缩列表转换成一个字符串对象。
2. 将转换所得的字符串对象保存到 RDB 文件。

如果程序在读入 RDB 文件的过程中， 碰到由压缩列表对象转换成的字符串对象， 那么程序会根据 TYPE 值的指示， 执行以下操作：

1. 读入字符串对象，并将它转换成原来的压缩列表对象。
2. 根据 TYPE 的值，设置压缩列表对象的类型

---