Redis系列（四）：Redis持久化和主从复制原理
一、持久化
所谓的持久化就是把内存中的数据写到磁盘中去，防止服务宕机后内存数据丢失。Redis4.0之前提供了两种持久化方式:RDB（默认） 和AOF，Redis4.x之后新增了一种混合持久化（本文所用的Redis版本是redis‐5.0.2）
1、RDB
RDB是Redis Database缩写，在默认情况下，Redis将内存数据库快照保存在名字为dump.rdb的二进制文件中。可以对Redis进行设置，让它在“ N秒内至少有M个键值改动”这一条件被满足时，自动保存一次数据。比如下图，900秒内有1个键值或者300秒内有10个键值或者60秒内有10000个键值改动，自动保存一次数据；关闭RDB只需要将所有的save保存策略注释掉即可。
还可以手动执行命令生成RDB快照，进入Redis客户端执行命令save或bgsave可以生成dump.rdb文件，每次命令执行都会将所有Redis内存快照到一个新的rdb文件里，并覆盖原有rdb快照文件。save是同步命令，bgsave是异步命令，bgsave会从redis主进程fork（fork()是linux函数）出一个子进程专门用来生成rdb快照文件。Redis配置自动生成rdb文件后台使用的是bgsave方式。
| 命令 | save | bgsave |
| IO类型 | 同步 | 异步 |
| 是否阻塞redis其它命令 | 是 | 否(在生成子进程执行调用fork函数时会短暂阻塞） |
| 复杂度 | O(n) | O(n) |
| 优点 | 不会消耗额外内存 | 不阻塞客户端命令 |
| 缺点 | 阻塞客户端命令 | 需要fork子进程，消耗内存 |
2、AOF
AOF是append-only file缩写，RDB快照并不是非常耐久（durable）：如果Redis因为某些原因而造成故障停机，那么服务器将丢失最近写入、且仍未保存到快照中的那些数据。从Redis1.1版本开始，Redis增加了一种完全耐久的持久化方式：AOF持久化。可以通过修改如下配置文件来打开AOF功能：
修改了配置文件，先执行bin/redis-cli shutdown停止Redis，然后执行bin/redis-server redis.conf启动Redis，此时appendonly生效；从现在开始， 每当Redis执行一个改变键值的命令时（比如 SET），这个命令就会被追加到AOF文件的末尾。这样的话，当 Redis重新启动时，程序就可以通过重新执行AOF文件中的命令来达到重建数据的目的。你可以配置 Redis 多久才将数据 fsync到磁盘一次。
① appendfsync always：每次有新命令追加到AOF文件时就执行一次fsync，非常慢，也非常安全。
② appendfsync everysec：每秒fsync一次，足够快（和使用 RDB 持久化差不多），并且在故障时只会丢失 1 秒钟的数据。
③ appendfsync no：从不 fsync，将数据交给操作系统来处理。更快，也更不安全的选择。
推荐（并且也是默认）的措施为每秒fsync一次，这种fsync策略可以兼顾速度和安全性。配置文件如下：
执行如下命令：
（1）启动客户端，连接Redis bin/redis-cli 并执行set toby xu
(2) 到dir（redis.conf这个配置文件里面的数据持久化的目录属性）所在的目录下查看，如下图：
（3）vim appendonly.aof，文件的内容在后面的RESP（Redis序列化协议）中详解讲解，Redis序列化协议官网地址：https://redis.io/topics/protocol
AOF重写：
（1）AOF文件里可能有太多没用指令，所以AOF会定期根据内存的最新数据生成新的aof文件，当然可以手工执行bgrewriteaof命令也能重写AOF，比如执行如下命令：
（2）重写后AOF文件里变成：
如下两个配置可以控制AOF自动重写频率：
① auto-aof-rewrite-min-size 64mb ：aof文件至少要达到64M才会自动重写。
② auto-aof-rewrite-percentage 100 ：aof文件自上一次重写后文件大小增长了100%则再次触发重写。
当然AOF还可以手动重写，进入redis客户端执行如上图命令bgrewriteaof重写AOF注意，AOF重写Redis会fork出一个子进程去做，不会对Redis正常命令处理有太多影响。
3、RDB和AOF对比
Redis启动时如果既有RDB文件又有AOF文件则优先选择AOF文件恢复数据，因为AOF一般来说数据更全一点。
| 持久化方式 | RDB | AOF |
| 启动优先级 | 低 | 高 |
| 文件大小 | 小 | 大 |
| 恢复速度 | 快 | 慢 |
| 数据安全性 | 容易丢数据 | 根据策略决定 |
4、Redis4.0混合持久化
重启Redis时，我们很少使用 RDB来恢复内存状态，因为会丢失大量数据。我们通常使用AOF日志重放，但是重放AOF日志性能相对RDB来说要慢很多，这样在 Redis 实例很大的情况下，启动需要花费很长的时间。 Redis4.0为了解决这个问题，带来了一个新的持久化选项——混合持久化。配置如下：
如果开启了混合持久化，AOF在重写时，不再是单纯将内存数据转换为RESP命令写入AOF文件，而是将重写这一刻之前的内存做RDB快照处理，并且将RDB快照内容和增量的AOF修改内存数据的命令存在一起，都写入新的AOF文件，新的文件一开始不叫appendonly.aof，等到重写完新的AOF文件才会进行改名，原子的覆盖原有的AOF文件，完成新旧两个AOF文件的替换。于是在Redis重启的时候，可以先加载RDB的内容，然后再重放增量AOF文件就可以完全替代之前的AOF全量文件重放，因此重启效率大幅得到提升。
二、Redis主从
1、主从复制概念
主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave),数据的复制是单向的，只能由主节点到从节点。
2、主从复制的原理
（1）全量复制
将主节点中的所有数据都发送给从节点，是一个非常重型的操作，当数据量较大时，会对主从节点和网络造成很大的开销。全量复制流程图如下：
① slave会发出一个同步命令，刚开始是Psync命令，表示要求master主机同步数据
② master收到psync命令后，会通过执行bgsave生成最新的RDB快照文件，持久化期间，master会继续接收客户端的请求，它会把写请求缓存在内存中
③ 发送RDB文件给slave
④ master再将之前缓存在内存中的命令发送给slave
⑤ 刷新旧的数据。slave在载入主节点的数据之前要先将老数据清除
⑥ 加载RDB文件将数据库状态更新至主节点执行bgsave时的数据库状态和缓冲区数据的加载
⑦ master同步长连接持续把写命令发送给slave，以保证数据的一致
（2）部分复制
部分复制是Redis 2.8以后出现的，用于处理在主从复制中因网络闪断等原因造成的数据丢失场景，当slave再次连上master后，如果条件允许，master会补发丢失数据给slave。因为补发的数据远远小于全量数据，可以有效避免全量复制的过高开销。部分复制流程图如下：
① 如果网络抖动（连接断开 connection lost）
② master还是会写repl_back_buffer（复制缓冲区）
③ slave会继续尝试连接主机
④ slave会把自己当前run_id和偏移量传输给master，并且执行pysnc命令同步
⑤ slave发送过来的offset在repl_back_buffer中，则master会将缓存中从offset以后的数据一次性同步给slave，否则全量复制
⑥ master同步长连接持续把写命令发送给slave，以保证数据的一致
3、主从搭建
其中slave的主要配置如下：
port 6380 pidfile /var/run/redis_6380.pid dir /usr/local/redis-5.0.2/6380 replicaof 192.168.160.146 6379 replica-serve-stale-data yes replica-read-only yes
（1）在6379 set toby xu
（2）在6380 keys *
至此Redis主从搭建完成！！！！！
