redis无损数据迁移
在dba眼中,redis仅仅是一个缓存,不适合作为存储来使用,不管是redis-sentinel集群还是cluster集群,在redis主节点发生意外宕机时没有机制来保证主从节点数据的一致性。但是,很遗憾,业务方很喜欢将redis作为存储来使用,作为缓存使用的很少很少。
对于正常业务使用来说,redis作为存储使用,当redis发生主从切换时,业务需要根据业务日志自己进行数据补偿。但是,进行redis迁移时,一般是由dba来推动在夜间进行,这种情况下如果新的主节点存在写丢失而后让业务立刻进行数据补偿是不合适的。
这时,可以采用如下方法来进行redis-sentinel集群数据无损迁移:
1. 在主节点上执行 config set min-slaves-to-write x 命令阻塞主节点的写操作
2. 比较主从节点的 repl_offset,来判断主从节点的数据是否一致
3. 在主从数据节点的 repl_offset一致时,进行主从切换
4. 切换完成之后,修改原主节点的 min-slaves-to-write,将其修改为 0
我们将这几步放在一个脚本中,基本可以确保在1s左右完成redis主从数据节点切换而写操作无丢失。
对于redis-cluster集群主从切换,在从节点上执行 cluster failover 会阻塞该从节点的主节点直到主从节点数据一致,再进行主从切换。