docker搭建Redis Cluster集群环境

环境
搭建
查看集群状态
总结

环境

为了让环境更加真实，本文使用多机环境：

192.168.135.10
192.168.135.11

搭建

整体搭建步骤主要分为以下几步：

下载 Redis 镜像（其实这步可以省略，因为创建容器时，如果本地镜像不存在，就会去远程拉
取）；
编写 Redis 配置文件；
创建 Redis 容器；
创建 Redis Cluster 集群。

编写 Redis 配置文件

创建目录及文件

分别在 192.168.135.10 和 192.168.135.11两台机器上执行以下操作。

# 创建目录
mkdir -p /usr/local/docker-redis/redis-cluster
# 切换至指定目录
cd /usr/local/docker-redis/redis-cluster/
# 编写 redis-cluster.tmp

编写配置文件

192.168.135.10 机器的 redis-cluster.tmpl 文件内容如下：

port ${PORT}
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.135.10
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}

192.168.135.11 机器的 redis-cluster.tmpl 文件内容如下：

port ${PORT}
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.135.11
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}

port ：节点端口；
requirepass ：添加访问认证；
masterauth ：如果主节点开启了访问认证，从节点访问主节点需要认证；
protected-mode ：保护模式，默认值 yes，即开启。开启保护模式以后，需配置 bind ip 或者
设置访问密码；关闭保护模式，外部网络可以直接访问；
daemonize ：是否以守护线程的方式启动（后台启动），默认 no；
appendonly ：是否开启 AOF 持久化模式，默认 no；
cluster-enabled ：是否开启集群模式，默认 no；
cluster-config-file ：集群节点信息文件；
cluster-node-timeout ：集群节点连接超时时间；
cluster-announce-ip ：集群节点 IP，填写宿主机的 IP；
cluster-announce-port ：集群节点映射端口；
cluster-announce-bus-port ：集群节点总线端口。

每个 Redis 集群节点都需要打开两个 TCP 连接。一个用于为客户端提供服务的正常 Redis TCP 端口，例如 6379。还有一个基于 6379 端口加 10000 的端口，比如 16379。
第二个端口用于集群总线，这是一个使用二进制协议的节点到节点通信通道。节点使用集群总线进行故障检测、配置更新、故障转移授权等等。客户端永远不要尝试与集群总线端口通信，与正常的 Redis 命令端口通信即可，但是请确保防火墙中的这两个端口都已经打开，否则 Redis集群节点将无法通信。

在 192.168.135.10 机器的 redis-cluster 目录下执行以下命令：

for port in `seq 6371 6373`; do \
	mkdir -p ${port}/conf \
	&& PORT=${port} envsubst < redis-cluster.tmpl > ${port}/conf/redis.conf \
	&& mkdir -p ${port}/data;\
done

在 192.168.135.11 机器的 redis-cluster 目录下执行以下命令：

for port in `seq 6374 6376`; do \
	mkdir -p ${port}/conf \
	&& PORT=${port} envsubst < redis-cluster.tmpl > ${port}/conf/redis.conf \
	&& mkdir -p ${port}/data;\
done

在 192.168.10.10 机器执行查看命令结果如下，如果没有 tree 命令先安装 yum install -y tree 。

[root@centos8 redis-cluster]# tree
.
├── 6371
│   ├── conf
│   │   └── redis.conf
│   └── data
│       ├── appendonly.aof
│       ├── dump.rdb
│       └── nodes.conf
├── 6372
│   ├── conf
│   │   └── redis.conf
│   └── data
│       ├── appendonly.aof
│       ├── dump.rdb
│       └── nodes.conf
├── 6373
│   ├── conf
│   │   └── redis.conf
│   └── data
│       ├── appendonly.aof
│       ├── dump.rdb
│       └── nodes.conf
└── redis-cluster.tmpl

9 directories, 13 files

创建 Redis 容器

将宿主机的 6371 ~ 6376 之间的端口与 6 个 Redis 容器映射，并将宿主机的目录与容器内的目录
进行映射（目录挂载）。记得指定网络模式，使用 host 网络模式。

在 192.168.135.10 机器执行以下命令：

for port in $(seq 6371 6373); do docker run -di --restart always --name redis-${port} --net host -v /usr/local/docker-redis/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /usr/local/docker-redis/redis-cluster/${port}/data:/data redis redis-server /usr/local/etc/redis/redis.conf; done

在 192.168.135.11 机器执行以下命令：

for port in $(seq 6374 6376); do docker run -di --restart always --name redis-${port} --net host -v /usr/local/docker-redis/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /usr/local/docker-redis/redis-cluster/${port}/data:/data redis redis-server /usr/local/etc/redis/redis.conf; done

在 192.168.135.10 机器执行 docker ps 查看容器是否创建成功。

[root@centos8 redis-cluster]# docker ps
CONTAINER ID   IMAGE     COMMAND                  CREATED          STATUS          PORTS     NAMES
2edc62dd2cfb   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6373
1a7ec20cee40   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6372
1533faf397f8   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6371

在 192.168.135.10 机器执行 docker ps 查看容器是否创建成功。

[root@centos8 docker-redis]# docker ps
CONTAINER ID   IMAGE     COMMAND                  CREATED          STATUS          PORTS     NAMES
5f145eeecc04   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6376
6329807ca2cb   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6375
3c00b97d3510   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6374

创建 Redis Cluster 集群

随便进入一个容器节点，并进入 /usr/local/bin/ 目录：

# 进入容器
docker exec -it redis-6371 bash
# 切换至指定目录
cd /usr/local/bin/

接下来我们就可以通过以下命令实现 Redis Cluster 集群的创建。

redis-cli -a 1234 --cluster create 192.168.135.10:6371 192.168.135.10:6372 192.168.135.10:6373 192.168.135.11:6374 192.168.135.11:6375 192.168.135.11:6376 --cluster-replicas 1

出现选择提示信息，输入yes

Can I set the above configuration? (type 'yes' to accept):

集群创建成功如下：

root@centos8:/usr/local/bin# redis-cli -a 1234 --cluster create 192.168.135.10:6371 192.168.135.10:6372 192.168.135.10:6373 192.168.135.11:
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.168.135.11:6376 to 192.168.135.10:6371
Adding replica 192.168.135.10:6373 to 192.168.135.11:6374
Adding replica 192.168.135.11:6375 to 192.168.135.10:6372
M: 8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371
   slots:[0-5460] (5461 slots) master
M: 8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372
   slots:[10923-16383] (5461 slots) master
S: 4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373
   replicates 31b753b0fe52e0196e8a33149d11a82fdfafdad0
M: 31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374
   slots:[5461-10922] (5462 slots) master
S: b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375
   replicates 8996717269b57ca3656a594e615e1258f5ee7833
S: 089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376
   replicates 8fa990153bfb999537769c06ce7a65390e816294
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
..
>>> Performing Cluster Check (using node 192.168.135.10:6371)
M: 8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: 089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376
   slots: (0 slots) slave
   replicates 8fa990153bfb999537769c06ce7a65390e816294
S: b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375
   slots: (0 slots) slave
   replicates 8996717269b57ca3656a594e615e1258f5ee7833
S: 4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373
   slots: (0 slots) slave
   replicates 31b753b0fe52e0196e8a33149d11a82fdfafdad0
M: 8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

至此一个高可用的 Redis Cluster 集群搭建完成，如下图所示，该集群中包含 6 个 Redis 节点，3主 3 从。三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。
在这里插入图片描述

查看集群状态

我们先进入容器，然后通过一些集群常用的命令查看一下集群的状态。

# 进入容器
docker exec -it redis-6371 bash
# 切换至指定目录
cd /usr/local/bin/

检查集群状态

redis-cli -a 1234 --cluster check 192.168.135.11:6375

root@centos8:/usr/local/bin# redis-cli -a 1234 --cluster check 192.168.135.11:6375
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.135.10:6372 (89967172...) -> 0 keys | 5461 slots | 1 slaves.
192.168.135.10:6371 (8fa99015...) -> 0 keys | 5461 slots | 1 slaves.
192.168.135.11:6374 (31b753b0...) -> 1 keys | 5462 slots | 1 slaves.
[OK] 1 keys in 3 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 192.168.135.11:6375)
S: b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375
   slots: (0 slots) slave
   replicates 8996717269b57ca3656a594e615e1258f5ee7833
S: 4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373
   slots: (0 slots) slave
   replicates 31b753b0fe52e0196e8a33149d11a82fdfafdad0
M: 8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
M: 31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: 089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376
   slots: (0 slots) slave
   replicates 8fa990153bfb999537769c06ce7a65390e816294
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
root@centos8:/usr/local/bin#

查看集群信息和节点信息

# 连接至集群某个节点
redis-cli -c -a 1234 -h 192.168.10.11 -p 6376
# 查看集群信息
cluster info
# 查看集群结点信息
cluster nodes

root@centos8:/usr/local/bin# redis-cli -c -a 1234 -h 192.168.135.11 -p 6376
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.135.11:6376> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:1535
cluster_stats_messages_pong_sent:1632
cluster_stats_messages_meet_sent:1
cluster_stats_messages_sent:3168
cluster_stats_messages_ping_received:1632
cluster_stats_messages_pong_received:1536
cluster_stats_messages_received:3168
192.168.135.11:6376> cluster nodes
4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373@16373 slave 31b753b0fe52e0196e8a33149d11a82fdfafdad0 0 1634571863000 4 connected
8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371@16371 master - 0 1634571861000 1 connected 0-5460
089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376@16376 myself,slave 8fa990153bfb999537769c06ce7a65390e816294 0 1634571863000 1 connected
8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372@16372 master - 0 1634571863905 2 connected 10923-16383
31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374@16374 master - 0 1634571862890 4 connected 5461-10922
b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375@16375 slave 8996717269b57ca3656a594e615e1258f5ee7833 0 1634571862000 2 connected

SET/GET

在 6371 节点中执行写入和读取，命令如下：

# 进入容器并连接至集群某个节点
docker exec -it redis-6371 /usr/local/bin/redis-cli -c -a 1234 -h 192.168.135.10 -p 6371
# 写入数据
set name mrhelloworld
set aaa 111
set bbb 222
# 读取数据
get name
get aaa
get bbb

在这里插入图片描述

首先进入容器并连接至集群某个节点；
然后执行第一个 set 命令 set name xxxx ， name 键根据哈希函数运算以后得到的值为[5798] 。当前集群环境的槽分配情况为： [0-5460] 6371节点， [5461-10922] 6374节点，[10923-16383] 6372节点，所以该键的存储就被分配到了 6374 节点上；
再来看第二个 set 命令 set aaa ，这里大家可能会有一些疑问，为什么看不到 aaa 键根据哈希函数运算以后得到的值？因为刚才重定向至 6374 节点插入了数据，此时如果还有数据插入，正好键根据哈希函数运算以后得到的值也还在该节点的范围内，那么直接插入数据即可；
接着是第三个 set 命令 set bbb ， bbb 键根据哈希函数运算以后得到的值为 [5287] ，所以该键的存储就被分配到了 6371 节点上；
然后是读取操作，第四个命令 get name ， name 键根据哈希函数运算以后得到的值为 [5798] ，被重定向至 6374 节点读取；
第五个命令 get aaa ， aaa 键根据哈希函数运算以后得到的值也在 6374 节点，直接读取；
第六个命令 get bbb ， bbb 键根据哈希函数运算以后得到的值为 [5287] ，被重定向至 6371 节点读取。

通过以上操作我们得知 name 键的存储被分配到了 6374 节点，如果直接连接 6374 节点并获取该
值会怎么样？没错，不需要重定向节点，因为数据就在该节点，所以直接读取返回。

总结

至此使用多机环境多个容器搭建 Redis Cluster 集群环境就到这里，其实整体搭建过程不算特别麻
烦，因为：

创建 Redis 集群需要用到 Ruby，否则就得自己关联节点构建集群，自己分配槽；
如果使用 Ruby 构建 Redis 集群，就需要安装 Ruby 环境；
而 Redis 从 5 版本开始可以直接使用 redis-cli 命令创建集群了，就省去了很多麻烦事；
我们还使用了 shell for 循环语句简化了构建过程，否则那些语句一条条执行也够你闹心的。
综上所述，有没有更简单的办法呢？当然有了==》docker compose 就可以解决这个问题,点击专栏目录就可以查看docker compose了！

posted @ 2021-10-18 23:51 cheems~ 阅读(84) 评论(0) 编辑收藏举报

刷新页面返回顶部

cheems~

知其然知其所以然

docker搭建Redis Cluster集群环境