Docker跨服务器通信Overlay解决方案(下) Consul集群
承接上文
本文基于上篇文章,详细的场景说明与分析在前篇随笔中业已记录,有兴趣可以移步 Docker跨服务器通信Overlay解决方案(上) Consul单实例
本文主旨
本文为Docker使用Consul集群实现Overlay网络,解决Docker跨服务器内网通信问题。
整体架构为:Nginx + 3 x Conul
Consul集群搭建
环境说明
服务器OS | 主机IP | Docker版本 | 网卡名 | 主机名 |
---|---|---|---|---|
Ubuntu Server 18.04 LTS | 192.168.87.133 | 18.09.6 | ens33 | hz |
Ubuntu Server 18.04 LTS | 192.168.87.139 | 18.09.7 | ens33 | hz2 |
Ubuntu Desktop 18.04 LTS | 192.168.87.135 | 18.09.7 | ens33 | hz3 |
搭建过程
133服务器
docker run -d --network host -h node1 --name=consul-leader \
-e CONSUL_BIND_INTERFACE=ens33 \
-e 'CONSUL_LOCAL_CONFIG={"skip_leave_on_interrupt": true}' \
--restart=always \
-v /home/hellxz/consul-data:/tmp/consul \
consul:1.5.2 agent -server -bind=192.168.87.133 -bootstrap-expect=3 \
-node=node1 -data-dir=/tmp/consul -client 0.0.0.0 -ui
139服务器
docker run -d --network host -h node2 --name=consul-server \
-e CONSUL_BIND_INTERFACE=ens33 \
-e 'CONSUL_LOCAL_CONFIG={"skip_leave_on_interrupt": true}' \
--restart=always \
-v /home/hellxz/consul-data:/tmp/consul \
consul:1.5.2 agent -server -bind=192.168.87.139 -join=192.168.87.133 \
-node=node2 -data-dir=/tmp/consul -client 0.0.0.0 -ui
135服务器
docker run -d --network host -h node3 --name=consul-server2 \
-e CONSUL_BIND_INTERFACE=ens33 \
-e 'CONSUL_LOCAL_CONFIG={"skip_leave_on_interrupt": true}' \
--restart=always \
-v /home/hellxz/consul-data:/tmp/consul \
consul:1.5.2 agent -server -bind=192.168.87.135 -join=192.168.87.133 \
-node=node3 -data-dir=/tmp/consul -client 0.0.0.0 -ui
常用参数说明
CONSUL_BIND_INTERFACE
:指向当前要使用的网卡,这里一定要注意自己ip对应的网卡CONSUL_LOCAL_CONFIG
:添加服务的配置,容器创建后会生成local.json,json串会添加进来--restart=always
:启动失败自动重启-v
挂载的数据目录一般用于-sever
节点,其映射的位置与-data-dir
保持一致-join
:加入到其它节点-node
:当前节点名-data-dir
:数据保存目录,-server
节点才需要设置,只有server节点保存数据-bind
:绑定自己展示的ip,这里最好是写宿主机的ip
更详细的参数说明
-advertise:通知展现地址用来改变我们给集群中的其他节点展现的地址,一般情况下-bind地址就是展现地址
-bootstrap:用来控制一个server是否在bootstrap模式,在一个datacenter中只能有一个server处于bootstrap模式,当一个server处于bootstrap模式时,可以自己选举为raft leader。
-bootstrap-expect:在一个datacenter中期望提供的server节点数目,当该值提供的时候,consul一直等到达到指定sever数目的时候才会引导整个集群,该标记不能和bootstrap公用
-bind:该地址用来在集群内部的通讯,集群内的所有节点到地址都必须是可达的,默认是0.0.0.0
-client:consul绑定在哪个client地址上,这个地址提供HTTP、DNS、RPC等服务,默认是127.0.0.1
-config-file:明确的指定要加载哪个配置文件
-config-dir:配置文件目录,里面所有以.json结尾的文件都会被加载
-data-dir:提供一个目录用来存放agent的状态,所有的agent允许都需要该目录,该目录必须是稳定的,系统重启后都继续存在
-dc:该标记控制agent允许的datacenter的名称,默认是dc1
-encrypt:指定secret key,使consul在通讯时进行加密,key可以通过consul keygen生成,同一个集群中的节点必须使用相同的key
-join:加入一个已经启动的agent的ip地址,可以多次指定多个agent的地址。如果consul不能加入任何指定的地址中,则agent会启动失败,默认agent启动时不会加入任何节点。
-retry-join:和join类似,但是允许你在第一次失败后进行尝试。
-retry-interval:两次join之间的时间间隔,默认是30s
-retry-max:尝试重复join的次数,默认是0,也就是无限次尝试
-log-level:consul agent启动后显示的日志信息级别。默认是info,可选:trace、debug、info、warn、err。
-node:节点在集群中的名称,在一个集群中必须是唯一的,默认是该节点的主机名
-protocol:consul使用的协议版本
-rejoin:使consul忽略先前的离开,在再次启动后仍旧尝试加入集群中。
-server:定义agent运行在server模式,每个集群至少有一个server,建议每个集群的server不要超过5个
-syslog:开启系统日志功能,只在linux/osx上生效
-ui-dir:提供存放web ui资源的路径,该目录必须是可读的
-pid-file:提供一个路径来存放pid文件,可以使用该文件进行SIGINT/SIGHUP(关闭/更新)agent
查看Consul集群状态
访问其中一个节点即可看到集群状态
注意事项
每台运行docker的主机都不能同hostname,可以使用
$ sudo hostnamectl set-hostname your-new-hostname
同hostname会导致同名的主机docker无法互相通信
光有consul集群是不够的,docker只能配置一个注册的url,所以需要做负载均衡,这里使用nginx
Nginx配置
Nginx安装参考http://nginx.org/en/docs/install.html
配置只需要在/etc/nginx/nginx.conf
下添加监听与负载均衡的配置
这里将nginx配置在了我的win10上,ip: 10.2.7.59 配置在别处也是一样的
如以下关键片段:
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
#consul集群负载均衡
upstream consul {
server 192.168.87.133:8500; #可以通过添加weight进行加权重
server 192.168.87.139:8500;
server 192.168.87.135:8500;
}
#监听本机8500端口,转发到upstream consul下
server {
listen 8500;
location / {
proxy_pass http://consul;
}
}
}
保存,重启nginx
配置各服务节点docker daemon
修改 /etc/docker/daemon.json
添加cluster-store
与cluster-advertise
配置
{
"registry-mirrors": ["https://7uuu3esz.mirror.aliyuncs.com"],
"log-driver":"json-file",
"log-opts": {"max-size":"500m", "max-file":"3"},
"insecure-registries": ["10.2.7.70:5000"],
"cluster-store": "consul://10.2.7.59:8500",
"cluster-advertise": "ens33:2375"
}
- cluster-store配置的是nginx监听的地址
- cluster-advertise指定的是docker的宿主机注册到consul中的指定网卡中的ip,也可以写ip和端口号,端口只要没被占用就可以了
重启docker
$ sudo systemctl daemon-reload
$ sudo systemctl restart docker
测试
等待docker重启完毕,进入consul的UI
我们可以发现Key/Value下有了docker的key,点开docker有了如上图的docker daemon注册的信息
在以上列表中的133节点上创建个overlay网络 my-overlay-test
$ docker network create -d overlay my-overlay-test
后续的在上篇文章已经测试过了,本文结束,如有问题,望不吝评论!
本文系Hellxz学习与实践文章,禁止布布扣、码迷、爱码网等第三方爬虫网站爬取