Redis的持久化

Redis的持久化

面试和工作，持久化都是童点!

Redis,是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出，服务器中的数据库状态也会消失。所以 Redis提供了持久化功能!

RDB（Redis DataBase）

什么是RDB

image

在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。

Redis会单独创建 （ fork )一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的。这就确保了极高的性能。如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。我们默认情况下就是RDB，一般情况下不需要修改这个配置。

在生产环境的时候我们会将这个文件备份

rdb保存的文件叫dump.rdb 都是在配置文件的快照中进行配置的

image

触发机制

1、 save规则满足的情况下，会自动触发rdb规则

2、 执行flushall命令，也会触发我们的rdb规则！

3、退出redis(执行shutdown命令)，也会产生rdb

备份就是自动生成一个dump.rdb文件

image

如何恢复rdb文件

  1. 只需要将rdb文件放到redis的启动目录下就可以了，redis启动的时候会自动检查dump.rdb恢复其中的数据！

  2. 查看文件存在的位置

    127.0.0.1:6300> config get dir
1) "dir"
2) "/data" #如果这个文件中存在dump.rdb文件，启动就会自动读取里面的数据并恢复

    基本上redis他的默认配置就够用了，但是我们还是得去学习

    优点：

    1. 适合大规模的数据恢复！
    2. 如果对数据的完整性不高

    缺点：

    1. 需要的一定的时间间隔去操作！如果redis突然宕机了，那么最后一条数据就没了
    2. fork一条进程的时候会占用一定的内存空间

AOF(Append Only File)

将我们所有的命令纪录下来，history回复的时候就把这个文件全部执行一遍

AOF重写流程如下：

  1. bgrewriteaof命令触发重写，判断是否存在bgsave或者bgrewriteaof正在执行，存在则等待其执行结束再执行
  2. 主进程fork子进程，防止主进程阻塞无法提供服务，类似RDB
  3. 子进程遍历Redis内存快照中数据写入临时AOF文件，同时会将新的写指令写入aof_buf和aof_rewrite_buf两个重写缓冲区，前者是为了写会旧的AOF文件，后者是为了后续刷新到临时AOF文件中，防止快照内存遍历时新的写入操作丢失
  4. 子进程结束临时AOF文件写入后，通知主进程
  5. 主进程会将上面3中的aof_rewirte_buf缓冲区中的数据写入到子进程生成的临时AOF文件中
  6. 主进程使用临时AOF文件替换旧AOF文件，完成整个重写过程

img

以日志的形式来记录每个写操作,将Redis执行过的所有指令记录下来(读操作不记录) , 只许追加文件但不可以改写文件, redis启动之初会读取该文件重新构建数据,换言之, redis重启的话就根据日志文件的内容将写指令从前到后执行一-次以完成数据的恢复工作

Aof存储的是appendonly.aof文件

append

image

默认是不开启的，我们需要手动配置！我们只需要将appendonly no 改成yes就开启了aof

重启redis生效

如果aof文件被破坏，这时候redis就启动不起来了，我们需要修复这个aof文件

redis给我们提供了一个工具redis-check-aof --fix appendonly.aof

修复有两种情况，一种是出错了全部丢弃，另一种是之丢弃出错的数据

重写规则说明

aof默认就是文件的无限追加，文件会越来越大！

image

如果aof文件大于64兆，文件太大了，那么就会fork一个新的进程来讲我们的文件进行重写

优点和缺点

appendonly yes #默认是不开启aof模式的，默认是使用rdb方式持久化的，在大部分情况下，rdb方式够用了
appendfilename "appendonly.aof" # 持久化文件的名字

# appendfsync always # 每次修改都会 sync 速度比较慢
appendfsync everysec  # 每秒都同步一次 sync，但是会丢失这一秒的数据
# appendfsync no  # 不执行sync 这时候操作系统自己同步数据，速度比较快

# rewrite # 重写

优点：

  1. 每一次修改都同步，文件的完整性更好！
  2. 每秒同步一次，可能会丢失一秒的数据
  3. 从不同步，效率最高

缺点：

  1. 相对于数据文件来说，aof远远大于rdb，修复的速度比rdb慢！

扩展

  1. RDB持久化方式能够在指定的时间间隔内对你的数据进行快照存储

  2. AOF持久化方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些命令来恢复原始的数据，AOF命令以Redis协议追加保存每次写的操作到文件末尾，Redis还能对AOF文件进行后台重写，使得AOF文件的体积不至于过大。

  3. 只做缓存，如果你只希望你的数据在服务器运行的时候存在，你也可以不使用任何持久化

  4. 同时开启两种持久化方式

    • 在这种情况下，当redis重启的时候会优先载入AOF文件来恢复原始的数据，因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。

    • RDB的数据不实时，同时使用两者时服务器重启也只会找AOF文件，那要不要只使用AOF呢?作者建议不要，因为RDB更适合用于备份数据库（AOF在不断变化不好备份），快速重启，而且不会有AOF可能潜在的Bug，留着作为一个万一的手段。

  5. 性能建议

    • 因为RDB文件只用作后备用途，建议只在Slave上持久化RDB文件，而且只要15分钟备份一次就够了，只保留save 900 1这条规则。

    • 如果Enable AOF，好处是在最恶劣情况下也只会丢失不超过两秒数据，启动脚本较简单只load自己的AOF文件就可以了，代价一是带来了持续的IO，二是AOF rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可，应该尽量减少AOF rewrite的频率，AOF重写的基础大小默认值64M太小了，可以设到5G以上，默认超过原大小100%大小重写可以改到适当的数值。

    • 如果不Enable AOF，仅靠Master-Slave Replication 实现高可用性也可以，能省掉一大笔IO，也减少了rewrite时带来的系统波动。代价是如果Master/Slave同时挂掉，会丢失十几分钟的数据，启动脚本也要比较两个Master/Slave 中的 RDB文件，载入较新的那个,微博就是这种架构。

posted @ 2022-07-04 08:46  Primary丶  阅读(88)  评论(0)  编辑  收藏  举报