Dockercompose之redis-cluster集群

一、环境

一台主机：10.210.13.21

主机系统：centos 7.9.2009;Docker version 20.10.8

解决问题 IPv4 forwarding is disabled. Networking will not work.
sudo vim /etc/sysctl.conf
net.ipv4.ip_forward=1
sysctl -p
systemctl restart network
systemctl restart docker

docker-compose安装:

 sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
 sudo chmod +x /usr/local/bin/docker-compose
 sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
 docker-compose --version

二、搭建

下载 Redis 镜像（其实这步可以省略，因为创建容器时，如果本地镜像不存在，就会去远程拉取）；
编写 Redis 配置文件；
编写 Docker Compose 模板文件；
创建并启动所有服务容器；
创建 Redis Cluster 集群。

编写redis配置文件

1.创建目录及文件

# 创建目录
mkdir -p /usr/local/docker-redis/redis-cluster
# 切换至指定目录
cd /usr/local/docker-redis/redis-cluster/
# 编写 redis-cluster.tmpl 文件
vim redis-cluster.tmpl

2.编写redis配置文件

port ${PORT}
requirepass 123456
masterauth 123456
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 10.210.13.21
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}

port：节点端口；
requirepass：添加访问认证；
masterauth：如果主节点开启了访问认证，从节点访问主节点需要认证；
protected-mode：保护模式，默认值 yes，即开启。开启保护模式以后，需配置 bind ip 或者设置访问密码；关闭保护模式，外部网络可以直接访问；
daemonize：是否以守护线程的方式启动（后台启动），默认 no；
appendonly：是否开启 AOF 持久化模式，默认 no；
cluster-enabled：是否开启集群模式，默认 no；
cluster-config-file：集群节点信息文件；
cluster-node-timeout：集群节点连接超时时间；
cluster-announce-ip：集群节点 IP，填写宿主机的 IP；
cluster-announce-port：集群节点映射端口；
cluster-announce-bus-port：集群节点总线端口。
　　每个 Redis 集群节点都需要打开两个 TCP 连接。一个用于为客户端提供服务的正常 Redis TCP 端口，例如 6379。还有一个基于 6379 端口加 10000 的端口，比如 16379。

　　第二个端口用于集群总线，这是一个使用二进制协议的节点到节点通信通道。节点使用集群总线进行故障检测、配置更新、故障转移授权等等。客户端永远不要尝试与集群总线端口通信，与正常的 Redis 命令端口通信即可，但是请确保防火墙中的这两个端口都已经打开，否则 Redis 集群节点将无法通信。

3.在主机redis-cluster目录下执行以下脚本

for port in `seq 7000 7005`; do \
  mkdir -p ${port}/conf \
  && PORT=${port} envsubst < redis-cluster.tmpl > ${port}/conf/redis.conf \
  && mkdir -p ${port}/data;\
done

编写Docker Compose文件

在主机的redis-cluster目录下创建docker-compose.yml文件并编辑

# 描述 Compose 文件的版本信息
version: "3.8"

# 定义服务，可以多个
services:
  redis-7000: # 服务名称
    image: redis:5.0.5 # 创建容器时所需的镜像
    container_name: redis-7000 # 容器名称
    restart: always # 容器总是重新启动
    network_mode: "host" # host 网络模式
    volumes: # 数据卷，目录挂载
      - /root/redis-cluster/7000/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - /root/redis-cluster/7000/data:/data
    command: redis-server /usr/local/etc/redis/redis.conf # 覆盖容器启动后默认执行的命令

  redis-7001:
    image: redis:5.0.5
    container_name: redis-7001
    network_mode: "host"
    volumes:
      - /root/redis-cluster/7001/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - /root/redis-cluster/7001/data:/data
    command: redis-server /usr/local/etc/redis/redis.conf

  redis-7002:
    image: redis:5.0.5
    container_name: redis-7002
    network_mode: "host"
    volumes:
      - /root/redis-cluster/7002/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - /root/redis-cluster/7002/data:/data
    command: redis-server /usr/local/etc/redis/redis.conf

  redis-7003: 
    image: redis:5.0.5
    container_name: redis-7003
    restart: always
    network_mode: "host"
    volumes:
      - /root/redis-cluster/7003/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - /root/redis-cluster/7003/data:/data
    command: redis-server /usr/local/etc/redis/redis.conf # 覆盖容器启动后默认执行的命令

  redis-7004:
    image: redis:5.0.5
    container_name: redis-7004
    network_mode: "host"
    volumes:
      - /root/redis-cluster/7004/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - /root/redis-cluster/7004/data:/data
    command: redis-server /usr/local/etc/redis/redis.conf

  redis-7005:
    image: redis:5.0.5
    container_name: redis-7005
    network_mode: "host"
    volumes:
      - /root/redis-cluster/7005/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - /root/redis-cluster/7005/data:/data
    command: redis-server /usr/local/etc/redis/redis.conf

创建并启动所有服务容器

在主机的docker-redis目录下执行以下命令：

docker-compose up -d

docker-compose stop 容器名                  停止某个容器
docker-compose -f  a.yml stop               停止yml文件里的所有容器
-f     docker-compose -f a.yml up -d        指定某个yml创建启动容器
build                                       重新构建服务
ps                                          列出容器
up                                          创建和启动容器
exec                                        在容器里面执行命令
scale                                       指定一个服务容器启动数量
top                                         显示容器进程
logs                                        查看容器输出
down                                        删除容器、网络、数据卷和镜像
stop/start/restart                          停止/启动/重启服务

创建Redis Cluster集群

请先确保主机通信正常，然后随便进入一个容器节点，并进入 /usr/local/bin/ 目录：

# 进入容器
docker exec -it redis-6371 bash
# 切换至指定目录
cd /usr/local/bin/

接下来我们就可以通过以下命令实现 Redis Cluster 集群的创建

  redis-cli -a 123456 --cluster create 10.210.13.21:7000 10.210.13.21:7001 10.210.13.21:7002 10.210.13.21:7003 10.210.13.21:7004 10.210.13.21:7005 --cluster-replicas 1

查看集群状态

我们先进入容器，然后通过一些集群常用的命令查看一下集群的状态

# 进入容器
docker exec -it redis-6371 bash
# 切换至指定目录
cd /usr/local/bin/

1.检测集群的状态

redis-cli -a 123456 --cluster check 10.210.13.21:7000

2.检测集群信息和节点信息

# 连接至集群某个节点
redis-cli -c -a 1234 -h 192.168.10.11 -p 6376
# 查看集群信息
cluster info
# 查看集群结点信息
cluster nodes

3.在7000节点中执行写入和读取，命令如下：

# 进入容器并连接至集群某个节点
docker exec -it redis-7000 /usr/local/bin/redis-cli -c -a 123456 -h 10.210.13.21 -p 7000
# 写入数据
set name mrhelloworld
set aaa 111
set bbb 222
# 读取数据
get name
get aaa
get bbb

客户端连接

最后来一波客户端连接操作，随便哪个节点，看看可否通过外部访问 Redis Cluster 集群