Predixy+redis cluster
前段时间DB同事离职,交接了redis服务器,顺便研究了下这种模式下的redis集群。
操作系统配置
vim /etc/rc.local
echo 511 > /proc/sys/net/core/somaxconn
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo "vm.overcommit_memory=1" >> /etc/sysctl.conf
echo "vm.swappiness=10" >> /etc/sysctl.conf
sysctl -p
redis 安装
wget http://download.redis.io/releases/redis-5.0.5.tar.gz
tar xzf redis-5.0.5.tar.gz
ln -s redis-5.0.5 redis
cd redis
make
make install
mkdir -p /opt/redis_data/{data,conf,log}
配置redis.conf
bind 0.0.0.0
##关闭后允许远程连接
protected-mode no
port 6379
##未被 accept 的 TCP 连接的队列长度
tcp-backlog 511
##后台方式运行
daemonize yes
pidfile /var/run/redis_6379.pid
loglevel notice
logfile "/opt/redis_data/log/redis_7383.log"
dbfilename dump_6379.rdb
dir /opt/redis_data/data
##启用集群模式
cluster-enabled yes
cluster-config-file nodes-6379.conf
##集群节点的超时时限
cluster-node-timeout 15000
各个配置文件均放在 /opt/redis_data/conf 中,配置文件名加上对应端口号。这里取的端口号是从 6379-6384
启动各个 redis 节点
redis-server redis_63XX.conf
配置 redis cluster
在 redis 4 之前均是依赖 redis-trib.rb 来配置 redis cluster,在redis 5 之后,则可以使用 redis-cli 来实现 redis-trib.rb 的功能。这里使用的是 redis 5 版本,通过 redis_cli 来搭建集群。
##创建集群 **6379 6380 6381 是master节点 6382 6383 6384是salve节点**
这里说明一下,因为我是自己搭建的 所以全部节点都是在一台服务器上 只是启动了不同的端口来实现集群测试,因此,这里的127.0.0.1 代表的其实是集群节点的IP地址。
先添加三个 master 节点,然后再添加对应的从节点,使用 redis-cli --cluster create xxx --cluster-replicas 1 搭建的集群,主从关系是在保证尽量不在同一台的情况下任意分配的,有时可能不是我们希望的。那就可以先添加主节点,然后安排对应的从节点,使用 redis-cli --cluster add-node --cluster-slave --cluster-master-id 即可。
redis-cli --cluster create 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381
##添加从节点
其中 83ff9f8d3413e7999253d3dc3f89f79998526354 是 master 节点的 id,127.0.0.1:6382 是从节点,而最后的 127.0.0.1:6379 是集群中master任意节点。 集群中节点 id 的获取,可以通过 redis-cli -p 6379 cluster nodes 命令查看。
redis-cli --cluster add-node --cluster-slave --cluster-master-id 83ff9f8d3413e7999253d3dc3f89f79998526354 127.0.0.1:6382 127.0.0.1:6379
如此添加其他从节点即可,最后就组成了希望的主从关系。
如果希望它自己自由分配的话可以使用下边命令:
redis-cli --cluster create 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 --cluster-replicas 1
配置完成后,可通过下面命令查看集群信息:
##查看集群信息
redis-cli -p 6379 cluster info
##查看节点信息
redis-cli -p 6379 cluster nodes
redis cluster 常用命令:
##创建集群
redis-cli --cluster create host1:port1 ... hostN:portN --cluster-replicas 1
##检查集群 slot 分配情况,是否全覆盖
redis-cli --cluster check host1:port1
##修复集群出现 slot 分配异常的问题
redis-cli --cluster fix host1:port1
##检查集群节点信息
redis-cli --cluster info host1:port1
##分配 slot
redis-cli --cluster reshard host1:port1
##检查节点中 slot 分配是否均衡
redis-cli --cluster rebalance host1:port1
##添加从节点
redis-cli --cluster add-node --cluster-slave --cluster-master-id 83ff9f8d3413e7999253d3dc3f89f79998526354 127.0.0.1:6382 127.0.0.1:6379
##删除节点,删除前要先移走对应的 slot
redis-cli --cluster del-node host1:port1 node_id
predixy的安装和配置:
predixy 是高性能的适用于 redis 集群和哨兵的代理。
predixy github 地址:https://github.com/joyieldInc/predixy
predixy 编译安装需要 C++11 版本的编译器,至少需要 CentOS 7及以上版本才能编译安装。对于 CentOS 6或更低版本,可以直接使用在 github release 中的二进制版本。
##安装
tar -xzf predixy-1.0.5-bin-amd64-linux.tar.gz
mv predixy-1.0.5 /usr/local/
cd /usr/local/predixy-1.0.5/conf/
修改里边的两个配置文件:predixy.conf cluster.conf
###predixy 支持多种架构,由于使用的是 redis cluster,只需配置 redis cluster 对应的配置文件cluster.conf 即可。
内容如下:
ClusterServerPool {
MasterReadPriority 60
StaticSlaveReadPriority 50
DynamicSlaveReadPriority 50
RefreshInterval 1
ServerTimeout 1
ServerFailureLimit 10
ServerRetryTimeout 1
KeepAlive 120
Servers {
+ 127.0.0.1:6379
+ 127.0.0.1:6380
+ 127.0.0.1:6381
+ 127.0.0.1:6382
+ 127.0.0.1:6383
+ 127.0.0.1:6384
}
}
在 Servers 部分配置集群中任意一个节点即可,predixy 会自动发现整个集群的信息,即使配置的节点挂掉后,predixy 代理仍然可正常工作。通过自动发现集群,可以减少 cluster.conf 配置文件的修改及对 predixy 的重启操作。但 predixy 无法删除曾经自动发现的节点,如果某节点下掉,predixy 仍会看到之前的节点,虽然不影响正常使用,日志则会不断报出错误信息。需重启 predixy 解决。
配置 predixy.conf
Name Predixy001
Bind 0.0.0.0:7617
Include cluster.conf
注意 Include 部分,只需包括 cluster.conf,其他的则注释掉,否则可能会影响到 predixy的使用。
启动predixy
cd /usr/local/predixy-1.0.5/bin/
cp predixy /usr/local/bin/
##启动
nohup predixy predixy.conf > /tmp/predixy.log 2>&1 &
##查看日志
tail -f /tmp/predixy.log
predixy 添加环境变量,在 /etc/profile 中添加,然后在 /etc/rc.local 中设置开机启动 nohup predixy /usr/local/predixy-1.0.5/conf/predixy.conf > /tmp/predixy.log 2>&1 &
##可以看到集群的信息
redis-cli -p 7617 info
参数说明:
MasterReadPriority,StaticSlaveReadPriority,DynamicSlaveReadPriority 三个参数和 redis 本身配置文件中的 slave-priority 没任何关系的。 如果是自动发现找到的节点,则 DynamicSlaveReadPriority 会起作用,如果是直接配置的节点,则 StaticSlaveReadPriority 会起作用。
Master/SlaveReadPriority |
Master |
Slave1 |
Slave2 |
Fail-over notes |
---|---|---|---|---|
60/50 | all requests | 0 requests | 0 requests | Master dead, read requests deliver to slave until master(maybe new master) alive |
60/0 | all requests | 0 requests | 0 requests | Master dead, all requests fail |
50/50 | all write requests, 33.33%read requests | 33.33% read requests | 33.33% read requests | - |
0/50 | all write requests, 0 read requests | 50% read requests | 50% read requests | all slaves dead, all read requests fail |
10/50 | all write requests, 0 read requests | 50% read requests | 50% read requests | all slaves dead, read requests deliver to master |
RefreshInterval : predixy 获取节点信息和集群 hash slot 集群信息的间隔 ServerFailureLimit : predixy 停止路由到节点之前失败的次数 ServerTimeout : 单个命令执行的超时时间