Redis异构集群数据在线迁移工具Redis-Migrate-Tool

本文源自:https://www.cnblogs.com/EikiXu/p/9626311.html 本文拿过来只是为了本人工作中参考使用,如有侵权

github 工具地址

https://github.com/vipshop/redis-migrate-tool

Redis 集群迁移工具，基于redis复制，快速，稳定。
github链接：https://github.com/vipshop/redis-migrate-tool

特点：

•快速。
•多线程。
•基于redis复制。
•实时迁移。
•迁移过程中，源集群不影响对外提供服务。
•异构迁移。
•支持Twemproxy集群，redis cluster集群，rdb文件和 aof文件。
•过滤功能。
•当目标集群是Twemproxy，数据会跳过Twemproxy直接导入到后端的redis。
•迁移状态显示。
•完善的数据抽样校验。

迁移工具的来源可以是：单独的redis实例，twemproxy集群，redis cluster，rdb文件，aof文件。
迁移工具的目标可以是：单独的redis实例，twemproxy集群，redis cluster，rdb文件。

#安装依赖：

yum install autoconf automake libtool bzip2

#linux机器上下载包

git clone https://github.com/vipshop/redis-migrate-tool

软件编译安装：

$ cd redis-migrate-tool

$ autoreconf -fvi

$ ./configure

$ make

$ src/redis-migrate-tool -h

软件运行：

src/redis-migrate-tool -c rmt.conf -o log -d

配置文件示例：从redis cluster集群迁移数据到twemproxy集群

[source]type: redis clusterservers:- 127.0.0.1:6379

[target]type: twemproxyhash: fnv1a_64hash_tag: "{}"distribution: ketamaservers:- 127.0.0.1:6380:1 server1- 127.0.0.1:6381:1 server2- 127.0.0.1:6382:1 server3- 127.0.0.1:6383:1 server4

[common]listen: 0.0.0.0:34345threads: 8step: 1mbuf_size: 512source_safe: true

配置文件示例：从redis cluster集群迁移数据到另外一个cluster集群

[source]type: redis clusterservers:- 127.0.0.1:8379

[target]type: redis clusterservers:- 127.0.0.1:7379

[common]listen: 0.0.0.0:8888

配置文件示例：从rdb文件恢复数据到redis cluster集群[source]

type: rdb fileservers:

- /data/redis/dump1.rdb

- /data/redis/dump2.rdb

- /data/redis/dump3.rdb

[target]type: redis clusterservers:

- 127.0.0.1:7379

[common]listen: 0.0.0.0:8888

配置文件示例：从单机迁移数据到另外一个单机

[source]
type: single
servers :
-192.168.0.2:6379
redis_auth:redis

[target]
type: single
servers:
-192.168.0.5:6379

[common]
listen: 0.0.0.0:9999

状态查看：通过redis-cli连接redis-migrate-tool监控的端口，运行info命令

$redis-cli -h 127.0.0.1 -p 8888127.0.0.1:8888> info# Serverversion:0.1.0os:Linux 2.6.32-573.12.1.el6.x86_64 x86_64multiplexing_api:epollgcc_version:4.4.7process_id:9199tcp_port:8888uptime_in_seconds:1662uptime_in_days:0config_file:/ect/rmt.conf

# Clientsconnected_clients:1max_clients_limit:100total_connections_received:3

# Memorymem_allocator:jemalloc-4.0.4

# Groupsource_nodes_count:32target_nodes_count:48

# Statsall_rdb_received:1all_rdb_parsed:1rdb_received_count:32rdb_parsed_count:32total_msgs_recv:7753587total_msgs_sent:7753587total_net_input_bytes:234636318total_net_output_bytes:255384129total_net_input_bytes_human:223.77Mtotal_net_output_bytes_human:243.55Mtotal_mbufs_inqueue:0total_msgs_outqueue:0127.0.0.1:8888>

查看log：

[root@redis04 redis-migrate-tool-master]# tail -f log
[2018-09-11 10:20:30.828] rmt_core.c:2551 migrate job is running...
[2018-09-11 10:20:30.828] rmt_redis.c:1706 Start connecting to MASTER[192.168.0.2:6379].
[2018-09-11 10:20:30.828] rmt_redis.c:1740 Master[192.168.0.2:6379] replied to PING, replication can continue...
[2018-09-11 10:20:30.829] rmt_redis.c:1051 Partial resynchronization for MASTER[192.168.0.2:6379] not possible (no cached master).
[2018-09-11 10:20:30.829] rmt_redis.c:1110 Full resync from MASTER[192.168.0.2:6379]: 05f9812b79e1e3e1ca95487d7acd360df644ad0a:18683803
[2018-09-11 10:20:31.120] rmt_redis.c:1517 MASTER <-> SLAVE sync: receiving 7844908 bytes from master[192.168.0.2:6379]
[2018-09-11 10:20:31.131] rmt_redis.c:1623 MASTER <-> SLAVE sync: RDB data for node[192.168.0.2:6379] is received, used: 0 s
[2018-09-11 10:20:31.131] rmt_redis.c:1643 rdb file node192.168.0.2:6379-1536632430829999-11046.rdb write complete
[2018-09-11 10:20:31.256] rmt_redis.c:6601 Rdb file for node[192.168.0.2:6379] parsed finished, use: 0 s.
[2018-09-11 10:20:31.258] rmt_redis.c:6709 All nodes' rdb file parsed finished for this write thread(0).

数据校验：

[root@redis04 redis-migrate-tool-master]# src/redis-migrate-tool -c rmt.conf -o log -C redis_check
Check job is running...

Checked keys: 1000
Inconsistent value keys: 0
Inconsistent expire keys : 0
Other check error keys: 0
Checked OK keys: 1000

All keys checked OK!
Check job finished, used 0.007s

=======================================================================

如下内容源自:https://www.cnblogs.com/luckcs/articles/6477261.html

Redis异构集群数据在线迁移工具Redis-Migrate-Tool

摘要：Redis-Migrate-Tool（后面都简称RMT），是唯品会开源的redis数据迁移工具，主要用于异构redis集群间的数据在线迁移，即数据迁移过程中源集群仍可以正常接受业务读写请求，无业务中断服务时间。这篇blog主要内容包括工具特性简介、使用方法以及注意的要点。关于实现的原理，可以自行阅读源码理解或者联系我们交流。

目前该项目已经开源在GitHub上（https://github.com/vipshop/redis-migrate-tool 链接入口可点击原文阅读）。

一、RMT特性

1、异构集群相互之间的迁移

支持下面几种异构集群之间的数据迁移和同构集群扩容/缩容。

1）单个redis到twemproxy/cluster迁移；

2）twemproxy到twemproxy/cluster迁移；

3）cluster到twmeproxy/cluster迁移。

2、在线迁移

RMT启动后模拟成redis slave，请求master的全量数据和增量数据。RMT收到数据之后解析成redis协议格式的oplog（写操作），然后发送给目标集群。有两种请求方式，source_safe: true，对于同一ip上的redis，逐个的请求全量数据（RDB）；source_safe: false，并行请求同步全量数据。source_safe: false时，需要注意多个源redis所在的同一主机是否有足够的内存和 RDB 并发落盘时的 IOPS 性能。

3、从AOF 或 RDB恢复数据

如果在线集群数据全部丢失，不要方，RMT可以帮你从备份的 AOF 和 RDB 文件恢复到目标集群。

4、数据过滤

可以过滤算法上不属于源集群的脏数据，比如有人绕过twemproxy，非正常方式直接向后端redis写入数据。还可以在配置文件[common]中使用filter参数，过滤掉不需要的数据。

二、使用方法

下面手把手教你使用 RMT，包括安装、配置、监控还有业务在线切换方式。

1、RMT安装

github开源地址：https://github.com/vipshop/redis-migrate-tool

安装：

生成的执行文件在src目录下，使用"-h"选项查看使用方法。

2、RMT配置文件

RMT的配置主要由三部分组成，数据源[source]，目标集群[target]，通用配置部分[common]。

RMT对源集群的类型并不敏感，对每个redis节点伪装成一个slave。因而 twemproxy和cluster集群，可以使用 single 和 cluster 类型。建议配置成对应的 twemproxy 或者 cluster类型。有两方面作用：1）RMT在数据迁移时，可以根据 twemproxy（hash）或者cluster（slots）数据分布规则，过滤掉原本不属于该节点的数据；2）当源集群类型是cluster时，只用配置一个节点，简化配置。

目标集群，因为不同数据分布规则需要执行不同的写入逻辑，因而配置非常严谨。特别是tw集群，迁移到目标集群的server配置需要和twemproxy中保持一致，包括hash算法、数据分布算法、节点的ip和port、权重、节点的名字。

部分配置下面会详细讲解，完整配置请参考github（https://github.com/vipshop/redis-migrate-tool#configuration）。

2.1、redis/twemproxy到twemproxy

[source]和[taget] 由集群类型type和redis节点server组成。[source] type可以支持single/twemproxy/cluster/aof file/rdb file 五种类型。[target]中的type支持single/twemproxy/cluster/rdb file 四种类型。

对于twemproxy集群，必须设置 hash、distribution、servers等参数，而且和目标集群的twemproxy一模一样（敲黑板）。前几天，有某站公司的朋友问，RMT迁移之后，存在数据读取不到，0.0。了解之后，发现是 target部分和twemproxy配置不一致导致。这也是写这篇使用文档初衷和动力，怕坑到更多使用这个开源软件的朋友。

在[common]中，一些参数主要作用如下，其他参数参考GitHub（https://github.com/vipshop/redis-migrate-tool#common）