Redis哨兵原理及持久化机制

首先说一下Redis Sentinel是怎么工作的？重点描述一下故障转移的过程

• 1)每个Sentinel以每秒钟一次的频率向它所知的Master，Slave以及其他 Sentinel 实例发送一个 PING 命令。

• 2)如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被当前 Sentinel 标记为主观下线。

• 3)如果一个Master被标记为主观下线，则正在监视这个Master的所有 Sentinel 要以每秒一次的频率确认Master的确进入了主观下线状态。

• 4)当有足够数量的 Sentinel（大于等于配置文件指定的值）在指定的时间范围内确认Master的确进入了主观下线状态， 则Master会被标记为客观下线 。

• 5)当Master被 Sentinel 标记为客观下线时，Sentinel 向下线的 Master 的所有 Slave 发送 INFO 命令的频率会从 10 秒一次改为每秒一次 （在一般情况下， 每个 Sentinel 会以每 10 秒一次的频率向它已知的所有Master，Slave发送 INFO 命令 ）。

• 6)若没有足够数量的 Sentinel 同意 Master 已经下线， Master 的客观下线状态就会变成主观下线。若 Master 重新向 Sentinel 的 PING 命令返回有效回复， Master 的主观下线状态就会被移除。

• 7)sentinel节点会与其他sentinel节点进行“沟通”，投票选举一个sentinel节点进行故障处理，在从节点中选取一个主节点，其他从节点挂载到新的主节点上自动复制新主节点的数据。

故障转移时会从剩下的slave选举一个新的master，被选举为master的标准是什么？

如果一个master被认为odown了，而且majority哨兵都允许了主备切换，那么某个哨兵就会执行主备切换操作，此时首先要选举一个slave来，会考虑slave的一些信息。

（1）跟master断开连接的时长。
如果一个slave跟master断开连接已经超过了down-after-milliseconds的10倍，外加master宕机的时长，那么slave就被认为不适合选举为master.
( down-after-milliseconds * 10) + milliseconds_since_master_is_in_SDOWN_state

（2）slave优先级。
按照slave优先级进行排序，slave priority越低，优先级就越高

（3）复制offset。
如果slave priority相同，那么看replica offset，哪个slave复制了越多的数据，offset越靠后，优先级就越高

（4）run id
如果上面两个条件都相同，那么选择一个run id比较小的那个slave

执行切换的那个哨兵在完成故障转移后会做什么？

会进行configuraiton配置信息传播。

哨兵完成切换之后，会在自己本地更新生成最新的master配置，然后通过pub/sub消息机制同步给其他的哨兵。

同步配置的时候其他哨兵根据什么更新自己的配置呢？

执行切换的那个哨兵，会从要切换到的新master（salve->master）那里得到一个configuration epoch，这就是一个version号，每次切换的version号都必须是唯一的。

如果第一个选举出的哨兵切换失败了，那么其他哨兵，会等待failover-timeout时间，然后接替继续执行切换，此时会重新获取一个新的configuration epoch 作为新的version号。

这个version号就很重要了，因为各种消息都是通过一个channel去发布和监听的，所以一个哨兵完成一次新的切换之后，新的master配置是跟着新的version号的，其他的哨兵都是根据版本号的大小来更新自己的master配置的。

redis的持久化方面的问题吧。首先，生产上Redis要不要持久化？如果要，说说为什么需要，或者说持久化对生产系统的意义何在？

要。

redis持久化主要是做灾难恢复，数据恢复，也可以归类到高可用的范畴。

比如Redis整个挂了，导致Redis不可用了，这时候首先要做的事情是让Redis尽快变得可用。那么就会去重启Redis，尽快让它对外提供服务。但是如果没做持久化没有数据备份，这个时候Redis启动了，也不可用啊，数据都没了！

这时候很可能，大量的请求过来，在缓存全部无法命中，这个时候就死定了，可能会导致缓存雪崩问题，所有的请求，没有在Redis命中，就会去数据库中去找，数据库一下子承接高并发，然后就挂了。数据库挂掉，你都没法去找数据恢复到redis里面去。

Redis持久化机制有哪些？

Redis有两种持久化机制，AOF和RDB。

AOF，记录每次写请求的命令，以追加的方式在文件尾部追加，直接在尾部追加，效率比较高。
对于操作系统来说，不是每次写都直接写到磁盘，操作系统自己会有一层cache，redis写磁盘的数据会先缓存在os cache里，redis每隔1秒调用一次操作系统的fsync操作，强制将os cache中的数据刷入AOF文件中。

当redis重启的时候，就把AOF中记录的命令重新执行一遍就可以了，但是如果文件很大的话，执行会耗费较多的时间，对于数据恢复来说耗时会多一点。

RDB，是快照文件，每隔一定时间将redis内存中的数据生成一份完整的RDB快照文件，当redis重启的时候直接加载数据即可，同样的数据比AOF恢复的要快。

说说这两种持久化机制各自的特点、优缺点吧

RDB的优点
第一点就是他会生成多个数据文件，每个数据文件都代表了某一时刻redis中的数据，非常适合做冷备。
第二点，RDB持久化机制对redis对外提供的读写服务影响非常小，可以让redis保持高性能，因为redis主进程只需要fork一个子进程，让子进程执行磁盘IO操作来进行RDB持久化即可。
第三点，相对于AOF持久化机制来说，直接基于RDB数据文件来重启和恢复redis进程，更加快速。

AOF，存放的指令日志，做数据恢复的时候，其实是要回放和执行所有的指令日志，来恢复出来内存中的所有数据的。

RDB，就是一份数据文件，恢复的时候，直接加载到内存中即可。

RBD的缺点
1）故障时可能数据丢失的比AOF要多。一般来说，RDB数据快照文件，都是每隔5分钟或者更长时间生成一次，这个时候一旦redis进程宕机，那么会丢失最近5分钟的数据。

这个问题，也是rdb最大的缺点，就是不适合做第一优先的恢复方案，如果你依赖RDB做第一优先恢复方案，会导致数据丢失的比较多

2）RDB每次在fork子进程来执行RDB快照数据文件生成的时候，如果数据文件特别大，可能会导致对客户端提供的服务暂停数毫秒，或者甚至数秒。

所以一般不要让RDB的间隔太长，否则每次生成的RDB文件太大了，对redis本身的性能可能会有影响的。

AOF的优点

1）AOF可以更好的保护数据不丢失
一般AOF会每隔1秒，通过一个后台线程执行一次fsync操作，最多丢失1秒钟的数据。

每隔1秒，就执行一次fsync操作，保证os cache中的数据写入磁盘中。
redis进程挂了，最多丢掉1秒钟的数据.

2）AOF持久化性能高
AOF日志文件以append-only模式写入，所以没有任何磁盘寻址的开销，写入性能非常高，而且文件不容易破损，即使文件尾部破损，也很容易修复。

3）AOF日志文件即使过大的时候，出现后台重写操作，也不会影响客户端的读写。
因为在rewrite log的时候，会对其中的指令进行压缩，创建出一份需要恢复数据的最小日志出来。在创建新日志文件的时候，老的日志文件还是照常写入。当新的merge后的日志文件ready的时候，再交换新老日志文件即可。

4）AOF日志文件的命令通过非常可读的方式进行记录，这个特性非常适合做灾难性的误删除的紧急恢复。

比如某人不小心用flushall命令清空了所有数据，只要这个时候后台rewrite还没有发生，那么就可以立即拷贝AOF文件，将最后一条flushall命令给删了，然后再将该AOF文件放回去，就可以通过恢复机制，自动恢复所有数据。

AOF的缺点

（1）对于同一份数据来说，AOF日志文件通常比RDB数据快照文件更大

（2）AOF开启后，支持的写QPS会比RDB支持的写QPS低，因为AOF一般会配置成每秒fsync一次日志文件，当然，每秒一次fsync，性能也还是很高的。

如果你要保证一条数据都不丢，也是可以的，AOF的fsync设置成没写入一条数据，fsync一次，但是那样导致redis的QPS大幅度下降。

（3）以前AOF发生过bug，就是通过AOF记录的日志，进行数据恢复的时候，没有恢复一模一样的数据出来。

所以说，类似AOF这种较为复杂的基于命令日志/merge/回放的方式，比基于RDB每次持久化一份完整的数据快照文件的方式，更加脆弱一些，容易有bug。不过AOF就是为了避免rewrite过程导致的bug，因此每次rewrite并不是基于旧的指令日志进行merge的，而是基于当时内存中的数据进行指令的重新构建，这样健壮性会好很多。

（4）唯一的比较大的缺点，其实就是做数据恢复的时候，会比较慢，做冷备不太合适。

说了那么多AOF和RDB，那么生产系统对于这俩持久化机制到底该如何选择呢？

至于，RDB和AOF到底该如何选择，我觉得两种都选择，

1）不要仅仅使用RDB，因为那样会导致你丢失很多数据。

2）也不要仅仅使用AOF，因为那样有两个问题，

第一，你通过AOF做冷备，没有RDB做冷备，来的恢复速度更快;

第二，RDB每次简单粗暴生成数据快照，更加健壮，可以避免AOF这种复杂的备份和恢复机制的bug。

3）综合使用AOF和RDB两种持久化机制，用AOF来保证数据不丢失，作为数据恢复的第一选择; 用RDB来做不同程度的冷备，在AOF文件都丢失或损坏不可用的时候，还可以使用RDB来进行快速的数据恢复，作为数据恢复的最后一道防线。