Docker环境搭建Redis4.0 Cluster
个人学习笔记,谢绝转载!!!
原文:https://www.cnblogs.com/wshenjin/p/15296600.html
配置三个redis实例:
# cluster
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
启动三个Redis实例6001 6002 6003:
docker run -tid \
--network=net_192.168.1 \
--ip=192.168.1.11 \
-p 6001:6001 \
-p 16001:16001 \
--name redis_cluster_node01 redis-4.0.14
docker run -tid \
--network=net_192.168.1 \
--ip=192.168.1.12 \
-p 6002:6002 \
-p 16002:16002 \
--name redis_cluster_node02 redis-4.0.14
docker run -tid \
--network=net_192.168.1 \
--ip=192.168.1.13 \
-p 6003:6003 \
-p 16003:16003 \
--name redis_cluster_node03 redis-4.0.14
创建集群:
[root@ ]# redis-trib.rb create 192.168.1.11:6001 192.168.1.12:6002 192.168.1.13:6003
>>> Creating cluster
>>> Performing hash slots allocation on 3 nodes...
Using 3 masters:
192.168.1.11:6001
192.168.1.12:6002
192.168.1.13:6003
M: 468b51d1918e82ad6ca81b3772e469be1000e23f 192.168.1.11:6001
slots:0-5460 (5461 slots) master
M: e91829ab91203f38f37de7114e82ba5883dcff3c 192.168.1.12:6002
slots:5461-10922 (5462 slots) master
M: 6dce80e6cc8a8e6863165087581496409f7e73ad 192.168.1.13:6003
slots:10923-16383 (5461 slots) master
Can I set the above configuration? (type 'yes' to accept): yes
此时的Redis Cluster集群正常的,却无法对外部网络提供业务。
这是因为,Cluster节点需要告诉客户端或其他节点连接自己的IP和端口。默认情况下,Redis会自动检测自己的IP和PORT,告诉客户端或其他节点。而在Docker环境中,如果使用的不是host网络模式,在容器内部的IP和PORT都是隔离的,那么外部客户端和其他节点无法通过节点公布的IP和PORT建立连接。
1.1.1.1:6012> CLUSTER NODES
6dce80e6cc8a8e6863165087581496409f7e73ad 192.168.1.13:6001@16001 master - 0 1631788081031 3 connected 10923-16383
468b51d1918e82ad6ca81b3772e469be1000e23f 192.168.1.11:6001@16001 master - 0 1631788082034 1 connected 0-5460
e91829ab91203f38f37de7114e82ba5883dcff3c 192.168.1.12:6001@16001 myself,master - 0 1631788079000 2 connected 5461-10922
1.1.1.1:6012> get mkey02897
-> Redirected to slot [15915] located at 192.168.1.13:6001
Could not connect to Redis at 192.168.1.13:6001: Connection timed out
从Redis4.0开始,Cluster将兼容NAT和Docker, 如下配置:
cluster-announce-ip: 要宣布的IP地址。
cluster-announce-port: 要宣布的数据端口。
cluster-announce-bus-port: 要宣布的集群总线端口
##每个节点都要配置
192.168.1.11:6001> config set cluster-announce-bus-port 16001
OK
192.168.1.11:6001> config set cluster-announce-port 6001
OK
192.168.1.11:6001> config set cluster-announce-ip 1.1.1.1
OK
配置了以后,Redis节点会将配置中的这些IP和PORT告知客户端或其他节点,而这些IP和PORT是通过Docker转发到容器内的临时IP和PORT的。
配置后的效果:
1.1.1.1:6001> CLUSTER NODES
6dce80e6cc8a8e6863165087581496409f7e73ad 1.1.1.1:6001@16003 master - 0 1631788348900 3 connected 10923-16383
468b51d1918e82ad6ca81b3772e469be1000e23f 1.1.1.1:6002@16002 master - 0 1631788349904 1 connected 0-5460
e91829ab91203f38f37de7114e82ba5883dcff3c 1.1.1.1:6001@16001 myself,master - 0 1631788346000 2 connected 5461-10922
1.1.1.1:6012> get mkey02897
-> Redirected to slot [15915] located at 1.1.1.1:6003
"__ac268adff36ba00140264436b7436b749a"
这里有个BUG,集群的内部通讯也是走了cluster-announce-ip + cluster-announce-bus-port,这点就有点那啥了。
不过我们可以改为用hosts的方式:通过hosts,客户端的连接走hosts(外部IP) + cluster-announce-port进行访问,集群内部hosts(内部IP) + cluster-announce-bus-port进行互通。
修改配置:
cluster-announce-ip node01 ##对外宣布的hosts
cluster-announce-port 6001 ##对外宣布的端口,即映射后的端口
cluster-announce-bus-port 16001 ##集群总线端口,这里不需要映射后的端口,用默认的,因为集群通过hosts在各个实例之间直连
重新启动三个redis实例:6001 6002 6003,启动时添加hosts:
--add-host node01:192.168.1.11 --add-host node02:192.168.1.12 --add-host node03:192.168.1.13
效果:
node01:6001> cluster nodes
761bc6ec25b6b517ddb55fd420a13172442a1a52 node03:6003@16003 master - 0 1632295362318 3 connected 10923-16383
2ae875f786de16d211fed7ffda07180c09de7982 node02:6002@16002 master - 0 1632295363322 2 connected 5461-10922
e395b2fe7e7c256d6f1d4028c0d4f1068127ab6d node01:6001@16001 myself,master - 0 1632295360000 1 connected 0-5460
这样,客户端就可以直接使用hosts+映射后的端口连接集群的任意实例,而集群内部通过hosts+总线端口进行通讯。
这里有个说明:redis-trib.rb工具好像对hosts的支持不太友好无法创建集群,因此可以先创建好集群,再使用动态修改参数或者重启实例的方式调整cluster-announce-ip。
5.0开始的版本redis-cli自带cluster集群管理功能应该会解决这个问题。