记一次redis集群搭建过程
在搭建前,我们先用vmware创建3台虚拟机,并确保它们相互之间能够ping通。
1. redis源码安装
1.1 编译安装
apt install gcc make
wget http://download.redis.io/releases/redis-6.2.6.tar.gz
tar -zxvf redis-6.2.6.tar.gz
cd redis-6.2.6
make
make PREFIX=/usr/local/redis install
1.2 配置文件
mkdir /usr/local/redis/conf
mkdir /usr/local/redis/data
cp redis.conf sentinel.conf /usr/local/redis/conf/
vim /usr/local/redis/conf/redis.conf
#### 配置文件 ####
#bind 127.0.0.1
protected-mode no
daemonize yes
logfile "6379.log" # 指定日志文件名
save 3600 1 # 开启RDB
save 300 100
save 60 10000
dir /usr/local/redis/data # 日志、rdb和aof文件会存放在指定的工作目录下
appendonly yes # 开启AOF
port 6379
pidfile "/var/run/redis-6379.pid"
dbfilename "dump-6379.rdb" # 指定存储数据的文件名
#############
1.3 启动服务
# 启动服务
sudo /usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
# 启动客户端
/usr/local/redis/bin/redis-cli
2. 主从搭建
我们3台虚拟机的ip分别是:192.168.10.128、192.168.10.129、192.168.10.130,我们使用192.168.10.128作为master,其余两台作为slave。修改两台slave虚拟机上的配置文件:
vim /usr/local/redis/conf/redis.conf
#### 配置文件 ####
replicaof 192.168.10.128 6379
#################
然后重启服务,完成主从搭建。可以通过写数据的方式来验证是否能成功同步。
3. 哨兵搭建
我们需要在这3台虚拟机上启动3个哨兵实例以搭建哨兵集群,我们将相应的配置文件修改如下:
vim /usr/local/redis/conf/sentinel.conf
#### 配置文件 ####
#bind 0.0.0.0
protected-mode no
daemonize yes
logfile "26379.log"
dir /usr/local/redis/data
sentinel monitor mymaster 192.168.10.128 6379 2 # 这里ip、port都是主节点的,2代表判定主节点客观下线的哨兵数量
#################
然后分别启动3个哨兵服务:
/usr/local/redis/bin/redis-sentinel /usr/local/redis/conf/sentinel.conf
完成后可以通过杀死主节点redis实例的方式,来验证哨兵选主的过程。
4. 集群搭建
Redis Cluster的最小集群模式是三主三从模式,也就是需要六台机器,这里我们通过在每台虚拟机上起两个redis服务来实现。
先将之前的redis实例、哨兵实例都kill掉,将之前从节点下面的配置项注释掉:
#replicaof 192.168.10.128 6379
然后在每台虚拟机上复制一份配置文件,对所有配置文件添加或修改相应的配置(复制的文件将6379的地方改为6380):
cp /usr/local/redis/conf/redis.conf /usr/local/redis/conf/redis-6380.conf
#### 配置文件 ####
cluster-enabled yes
cluster-config-file nodes-6379.conf # 生成在dir目录下
cluster-node-timeout 5000
port 6379
pidfile "/var/run/redis-6379.pid"
logfile "6379.log"
dbfilename "dump-6379.rdb"
appendfilename "appendonly-6379.aof"
#################
然后我们在每台虚拟机上启动2个实例:
sudo /usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
sudo /usr/local/redis/bin/redis-server /usr/local/redis/conf/redis-6380.conf
接着可以在任意一台虚拟上进行集群的创建:
/usr/local/redis/bin/redis-cli --cluster create
192.168.10.128:6379 192.168.10.128:6380 192.168.10.129:6379
192.168.10.129:6380 192.168.10.130:6379 192.168.10.129:6380 --cluster-replicas 1
使用以下命令检查集群:
/usr/local/redis/bin/redis-cli --cluster check 192.168.10.128:6379
使用以下命令连接到集群:
/usr/local/redis/bin/redis-cli -c -h 127.0.0.1 -p 6379
4.1 集群slot迁移
对照上图,下面的语句的作用是通过连接到192.168.10.128:6379实例,将192.168.10.130:6379上的1000个slots迁移到192.168.10.128:6379实例。
redis-cli --cluster reshard 192.168.10.128:6379 --cluster-from 0951e8847478bb40804a64b2924c2e857e363997 --cluster-to b707dc738b67c22744081e0cded911d8feaf83bb --cluster-slots 1000 --cluster-yes
然后重新执行下面语句检查集群,发现已经迁移成功:
/usr/local/redis/bin/redis-cli --cluster check 192.168.10.128:6379
4.2 集群扩容
我们在192.168.10.128上再复制两份配置文件:redis-6381.conf、redis-6382.conf,然后分别启动两个redis实例。我们将192.168.10.128:6381作为主节点添加进集群:
# 新节点在前,后面跟集群中的任一节点
/usr/local/redis/bin/redis-cli --cluster add-node 192.168.10.128:6381 127.0.0.1:6379
接着将192.168.10.128:6382作为192.168.10.128:6381的从节点添加进集群:
/usr/local/redis/bin/redis-cli --cluster add-node 192.168.10.128:6382 127.0.0.1:6379 --cluster-slave --cluster-master-id 45553352aba3cf8580e1eea2befefe6b5b8e8a1c
然后执行下面的命令重新分配哈希槽:
/usr/local/redis/bin/redis-cli --cluster rebalance --cluster-use-empty-masters 192.168.10.128:6379
4.3 集群缩容
删除192.168.10.128:6382节点:
/usr/local/redis/bin/redis-cli --cluster del-node 192.168.10.128:6382 efe50012f87c6a989105846c0ee555fca6d8d95a
如果再次添加该节点到集群报下面的错误:
[ERR] Node 192.168.XX.XX:XXXX is not empty. Either the nodealready knows other nodes (check with CLUSTER NODES) or contains some key in database 0.
可以尝试删除nodes-6382.conf、dump-6382.rdb、appendonly-6382.aof这些文件(具体名字看你的配置文件)再尝试,若仍报错尝试清空数据库后再操作。