redis-full-check校验主从redis数据
一、redis-full-check介绍:
redis-full-check是阿里云Redis&MongoDB团队开源的用于校验2个redis数据是否一致的工具,通常用于redis数据迁移(redis-shake)后正确性的校验。
支持:单节点、主从版、集群版、带proxy的云上集群版(阿里云)之间的同构或者异构对比,版本支持2.x-5.x。
1.1基本原理:
redis-full-check通过全量对比源端和目的端的redis中的数据的方式来进行数据校验,其比较方式通过多轮次比较:
每次都会抓取源和目的端的数据进行差异化比较,记录不一致的数据进入下轮对比(记录在sqlite3 db中)。然后通过多伦比较不断收敛,减少因数据增量同步导致的源库和目的库的数据不一致。
最后sqlite中存在的数据就是最终的差异结果。
redis-full-check对比的方向是单向:抓取源库A的数据,然后检测是否位于B中,反向不会检测,也就是说,它检测的是源库是否是目的库的子集。
如果希望对比双向,则需要对比2次,第一次以A为源库,B为目的库,第二次以B为源库,A为目的库。
下图是基本的数据流图,redis-full-check内部分为多轮比较,也就是框所指示的部分。
每次比较,会先抓取比较的key,第一轮是从源库中进行抓取,后面轮次是从sqlite3 db中进行抓取;
抓取key之后是分别抓取key对应的field和value进行对比,然后将存在差异的部分存入sqlite3 db中,用于下次比较。
不一致类型:
redis-full-check判断不一致的方式主要分为2类:key不一致和value不一致。
key不一致:
key不一致主要分为以下几种情况:
lack_target : key存在于源库,但不存在于目的库。
type: key存在于源库和目的库,但是类型不一致。
value: key存在于源库和目的库,且类型一致,但是value不一致。
value不一致:
不同数据类型有不同的对比标准:
string: value不同。
hash: 存在field,满足下面3个条件之一:
field存在于源端,但不存在与目的端。
field存在于目的端,但不存在与源端。
field同时存在于源和目的端,但是value不同。
set/zset:与hash类似。
list: 与hash类似。
field冲突类型有以下几种情况(只存在于hash,set,zset,list类型key中):
lack_source: field存在于源端key,field不存在与目的端key。
lack_target: field不存在与源端key,field存在于目的端key。
value: field存在于源端key和目的端key,但是field对应的value不同
1.2比较原理:
对比模式(comparemode)有三种可选:
KeyOutline:只对比key值是否相等。
ValueOutline:只对比value值的长度是否相等。
FullValue:对比key值、value长度、value值是否相等。
对比会进行comparetimes轮(默认comparetimes=3)比较:
第一轮,首先找出在源库上所有的key,然后分别从源库和目的库抓取进行比较。
第二轮开始迭代比较,只比较上一轮结束后仍然不一致的key和field。
对于key不一致的情况,包括lack_source ,lack_target 和type,从源库和目的库重新取key、value进行比较。
value不一致的string,重新比较key:从源和目的取key、value比较。
value不一致的hash、set和zset,只重新比较不一致的field,之前已经比较且相同的filed不再比较。这是为了防止对于大key情况下,如果更新频繁,将会导致校验永远不通过的情况。
value不一致的list,重新比较key:从源和目的取key、value比较。
每轮之间会停止一定的时间(Interval)。
对于hash,set,zset,list大key处理采用以下方式:
len <= 5192,直接取全量field、value进行比较,使用如下命令:hgetall,smembers,zrange 0 -1 withscores,lrange 0 -1。
len > 5192,使用hscan,sscan,zscan,lrange分批取field和value。
二、redis-full-check中主要参数如下:
三、RedisFullCheck使用演示:
本文主要介绍如何使用RedisFullCheck
RedisFullCheck可以用于校验两个redis的数据是否一致,包括主从版、单节点、集群版,以及一些云上的带proxy的集群版(阿里云,腾讯云)
3.1下载安装:
3.2redis实例配置主从复制:
6986 为master
6987 为slave
对比2个主从版/单节点:
由此看到主从redis数据是一致的
3.3比对流程说明:
官方文档: https://yq.aliyun.com/articles/690463
https://github.com/alibaba/RedisFullCheck
https://github.com/alibaba/RedisFullCheck/wiki/第一次使用,如何进行配置?