Redis迁移工具redis-migrate-tool的使用
背景 : 公司由于以前没有同意规划 , 导致出现好几个redis实例 , 现在需要整合到一起 , 查到还有redis-migrate-tool工具 , 所以把使用情况写一下 , 以备后用参考
一、下载编译
# 从git库直接拉取
git clone https://github.com/vipshop/redis-migrate-tool.git
# CentOS安装必要的包(其他Linux版本请自己查询安装方法)
yum -y install automake libtool autoconf bzip2
# 编译并安装
cd redis-migrate-tool
autoreconf -fvi
./configure
make
#能出现帮助 , 说明编辑安装成功
src/redis-migrate-tool -h
二、写配置文件
配置文件样例 :
[source] type: redis cluster servers: - 172.25.2.118:6380 - 172.25.2.118:6381 redis_auth: {redis密码} [target] type: single servers: - 172.25.2.118:6379 redis_auth: {redis密码} [common] listen: 0.0.0.0:8888 threads: 8 step: 1 mbuf_size: 512 source_safe: true
source和target详解 (待迁移 和 迁入数据源) :
;Redis RDB备份模式 [source] type: rdb file servers: - /data/redis/dump1.rdb - /data/redis/dump2.rdb ;Redis AOF备份模式 [source] type: aof file servers: - /data/redis/dump1.aof - /data/redis/dump2.aof ;Redis 单机实例 [source] type: single servers: - 172.25.2.118:6379 ; redis密码 redis_auth: 111 ;Redis Cluster集群模式 [target] type: redis cluster servers: - 127.0.0.1:6379 - 127.0.0.1:6380 ; redis密码 redis_auth: 111 ;Redis Twemproxy集群模式 [target] type: twemproxy ;hash模式包括 : one_at_a_time md5 crc16 crc32 crc32a fnv1_64 fnv1a_64 fnv1_32 fnv1a_32 hsieh murmur jenkins hash: fnv1a_64 ; {} or $$ hash_tag: "{}" ;distribution包括 : ketama , modula ,random distribution: ketama servers: - 127.0.0.1:6380:1 server1 - 127.0.0.1:6381:1 server2
common详解
common
listen: 监听的地址和端口（name:port或ip:port）。默认是127.0.0.1:8888
max_clients：该监听端口客户端最大数量。默认是100
threads: redis-migrate-tool能够使用的最大的线程数量。默认是cpu核数。
step: 解析请求的级别。配的越大，迁移越快，消耗内存越多。默认是1
mbuf_size: Mbuf的大小。默认是512
noreply: boolean。决定是否要检测目标redis的回复。默认是false。
source_safe: boolean。是否保护源redis的内存安全。如果设置为true，那么该工具保证一台机器上同一时刻只有一个redis在生成rdb文件。除此之外，设置‘source_safe:true’时，所使用的线程可能会比你设置的要少。默认是true
dir: 工作目录，用于存储文件（例如rdb文件）。默认是当前目录。
filter: 过滤key，如果不匹配表达式，则不迁移。表达式Glob-style(通配符)。默认是空。
filter支持通配符表达式：
h?llo 匹配 hello, hallo 和 hxllo
h*llo 匹配 hllo 和 heeeello
h[ae]llo 匹配 hello 和 hallo, 不匹配 hillo
h[^e]llo 匹配 hallo, hbllo, … 不匹配 hello
h[a-b]llo 匹配 hallo 和 hbllo
三、开始迁移
注意 : 建议配置文件直接使用根目录下的 rmt.conf , 并且执行也是在根目录下执行 , 比如 :
# 开始运行 ./src/redis-migrate-tool -c rmt.conf -o log -d
自写其他配置文件 , 使用-c加载 , 有时候会出现无法加载的情况 , 不知道是不是bug
四、查看迁移情况
软件的原理是自己创建一个redis从库, 然后作为从库进行主从迁移 ,
所以根据此原理 , 可用redis-cli进入临时库 , 进行数据查询
# 使用redis-cli进入临时库进行查看 redis-cli -h 127.0.0.1 -p 8888 127.0.0.1:8888> info
info命令响应介绍:
Server:
Clients:
version: redis-migrate-tool版本号
os：操作系统名称
multiplexing_api: 多路复用API
gcc_version: gcc版本
process_id: redis-migrate-tool的进程id
tcp_port: redis-migrate-tool监听的tcp端口
uptime_in_seconds: redis-migrate-tool运行的时长。单位秒。
uptime_in_days: redis-migrate-tool运行的时长。单位天。
config_file: redis-migrate-tool配置文件的名称
connected_clients: 当前连接的客户端数量
max_clients_limit: 允许同时连接的最大客户端数量
total_connections_received: 迄今为止接收的连接数量的总数
Group:
source_nodes_count: 源redis的节点数量
target_nodes_count: 目标redis的节点数量
Stats:
all_rdb_received: 是否所有源节点的rdb都已接收完毕。
all_rdb_parsed: 是否所有的源节点rdb文件都已经解析完毕。
all_aof_loaded: 是否所有的源节点aof文件都已经加载完毕。
rdb_received_count: 已经接收源redis节点rdb文件的个数。
rdb_parsed_count: 已经完成解析rdb的个数。
aof_loaded_count: 已经加载完aof的个数。
total_msgs_recv: 从源redis接收到的消息总数。
total_msgs_sent: 发送给目标redis，并已经收到相应的的消息总数。
total_net_input_bytes: 从源redis接收到的数据总大小
total_net_output_bytes: 发送给目标redis的数据总大小
total_net_input_bytes_human: 和total_net_input_bytes相同，转化成可读的格式
total_net_output_bytes_human: 和total_net_output_bytes相同，转化为可读的格式
total_mbufs_inqueue: 来自源redis的mbufs的缓存数据（不包括rdb数据）
total_msgs_outqueue: 待发送给目标redis和已经发送等待响应的消息总数
五、迁移异常处理及验证
停止迁移 : 直接把临时库停止即可
$redis-cli -h 127.0.0.1 -p 8888 127.0.0.1:8888> shutdown OK
shutdown参数 : [second | asap]
- seconds: 在redis-migrate-tool退出之前，它把缓冲区的数据发送给目标redis最多用的时长（秒）。默认是10s
- asap: 不关心缓冲区的数据，直接退出。
该命令会干下面几件事：
- 停止从源redis复制数据
- 试图发送redis-migrate-tool缓冲区中的数据给目标集群
- 停止redis-migrate-tool并退出
验证 :
# 验证传输情况 src/redis-migrate-tool -c rmt.conf -o log -C redis_check
