docker 配置redis主从配置 集群 正式部署

转至 平凡的学生族发表于后端技术

 

在这篇文章中：

• 前言
• 环境
• 目录
• 0.确立计划
• 1. 运行master容器
• 2. 编写redis.conf
• 3. 解决WARNING THP
• 4. 解决WARNING somaxconn
• 5. 最终的docker run
• 最后
• 参考

前言

在正式部署前，你可以先阅读前置准备，对部署过程中用到的docker、redis操作和配置有一个理解，以防在自己电脑上复现时出错。 我们将在一台windows10机器上运行多个docker容器，配置Redis主从集群。

环境

• 宿主机一台： windows 10
• docker 18.09.2

目录

1. 运行master容器
2. 编写redis.conf
   1. 查看ip
   2. bind {ip}：允许指定的{ip}连接。
   3. slaveof {ip} {port}：配置主从关系。
   4. daemonize no：是否后台运行。
3. 解决WARNING THP
4. 解决WARNING somaxconn
5. 最终的docker run

0.确立计划

1. 我们需要在主服务器查看ip，以便编写从服务器的redis.conf。
2. 然后需要修改宿主机内核的配置，解决THP WARNING。由于windows上无法直接操作虚拟linux内核，需要在容器中进行。只要把宿主机的内核修改，所有容器都会解决THP WARNING问题。
3. 之后从服务器的部署只需一句docker run ...即可。 流程图如下：

1. 运行master容器

docker run --name redis-master -d -v /d/docker-redis-conf/redis-master.conf:/usr/local/etc/redis/redis.conf -p 6379:6379 redis redis-server /usr/local/etc/redis/redis.conf 该命令行为是： 使用映射的配置文件创建redis-master容器，并暴露6379端口。 该命令是简化版命令，可能会报两个WARNING，为了彻底解决问题，需要添加：--privileged(为了解决THP WARNING)和--sysctl net.core.somaxconn=2048(为了解决somaxconn WARNING)。 建议你到第五章：5. 最终的docker run拷贝完整的命令运行主容器。 如果你坚持要用上面的简化命令，可以带着WARNING顺利部署，直到你知道如何解决WARNING时，会发现还是得把redis-master删除重来一遍。

2. 编写redis.conf

从官网文档拷贝一份redis.conf，进行编写。 需要为master和每slave各准备一份redis.conf，如下：

一个master，两个slave

master和slave的配置文件都需要以下修改：

• bind {ip}：允许接受请求的ip(不是指请求来源的ip)。我们此处配置bind 0.0.0.0或者eth0上的ip(一般是172.17.0.x)都行。详情阅读关于bind
• daemonize no：设置在前台运行。如果指定为yes，redis会以守护进程方式在后台运行，在docker中运行则会自动退出。因为docker要求容器的运行至少有一个前台进程。 这与docker run -d不同，daemonize是指定进程在容器中是否在后台运行，-d是指容器是否在后台运行。
• appendonly yes 使用aof模式持久化，而不是rdb模式。这个看个人需要。

slave的配置文件需要额外添加一行：

• slaveof {ip} {port}：配置主从关系。其中{ip}是master的ip，{port}填默认的6379。

查看master的ip： 运行ifconfig，查看eth0栏下的ip，一般是172.17.0.x。 如果没有ifconfig，你需要apt update和apt install net-tools。

3. 解决WARNING THP

参考：

• how-to-disable-transparent-huge-pages-thp
• Notes on Using Transparent Huge Pages
• why-does-linux-sys-fs-modification-work-in-plain-docker-but-not-under-kubernetes/

问题现象：

WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. 
This will create latency and memory usage issues with Redis. 
To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, 
and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.

原因： 宿主机内核配置启用了THP，这可能会导致响应延迟。 当THP启用时：

# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never

当THP禁用时：

# cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]

解决方法：

echo never > /sys/kernel/mm/transparent_hugepage/enabled

但你可能操作失败：

bash: /sys/kernel/mm/transparent_hugepage/enabled: Read-only file system

• 这是因为该配置时宿主机的内核配置，因此你需要添加docker run --privileged参数，就能修改了。这正是上文说要加--privileged参数原因。
• 当然echo never ...的修改是会随着容器重启而重置的。你需要每次重启docker时，都配置一次。如果想永久生效：
  • 在linux上，你需要在/etc/rc.local添加该语句
  • 但在window上，我还不知道如何配置，因为在容器内找不到/etc/rc.local(反正生产环境一般是linux，在windows上自己动手多打一行命令而已)。

4. 解决WARNING somaxconn

参考：

• 理解 Linux backlog/somaxconn 内核参数
• WARNING: The TCP backlog setting of 511.解决方案
• --sysctl应当为docker的参数，而不是redis的

问题现象：

WARNING: The TCP backlog setting of 511 cannot be enforced 
because /proc/sys/net/core/somaxconn is set to the lower value of 128.

问题探索： 首先我们阅读理解 Linux backlog/somaxconn 内核参数，理解了backlog是应用层参数，somaxconn是内核参数，两者都规定了一个端口上TCP全连接的最大数量。somaxconn其实就是"socket max connections"的简称，该参数 问题解决： 添加参数docker run --sysctl net.core.somaxconn=2048，这个值需要大于511。 这也是为什么上文说要加这个参数了。

5. 最终的docker run

最终运行master容器的指令需要添加很多别的参数，而且大多是必需的。 docker run --privileged --sysctl net.core.somaxconn=2048 --name redis-master -d -v /d/docker-redis-conf/redis-master.conf:/usr/local/etc/redis/redis.conf -p 6379:6379 redis redis-server /usr/local/etc/redis/redis.conf

1. --privileged是为了修改宿主机内核配置，以解决WARNING THP问题的。
2. --sysctl net.core.somaxconn=2048是为了修改内核配置，以解决WARNING somaxconn is set to the lower value of 128问题的。
3. -v /d/docker-redis-conf/redis-master.conf:/usr/local/etc/redis/redis.conf是为了把宿主机上d盘docker-redis-conf文件夹下的redis-master.conf映射到容器目录内的。
4. -p 6379:6379是端口映射。
5. redis是使用的镜像。
6. redis-server /usr/local/etc/redis/redis.conf是让容器启动redis服务器。

slave的运行指令也差不多，把上文的redis-master都改成redis-slave1或者redis-slave2即可，只要对应的配置文件都写好了。

将三个容器都运行起来，把内核参数修改好后，就可以无WARNING地运行啦！(在一个容器里修改一次就好，但windows上重启docker后，还是要重新修改)

最后

可以分析下docker redis官方的DockerFile

RUN mkdir /data && chown redis:redis /data
VOLUME /data
WORKDIR /data

COPY docker-entrypoint.sh /usr/local/bin/
ENTRYPOINT ["docker-entrypoint.sh"]

EXPOSE 6379

参考

linux中内核参数somaxconn backlog backlog somaxconn docker修改somaxconn thp是内核参数，只能在宿主机上修改

其它参考：

• 提高redis效率的小技巧