Docker 系统性入门+进阶实践-08docker swarm详解
- 作为集群的编排工具，docker swarm虽然不如k8s流行，但是万变不离其宗，掌握起基本原理和使用将大大降低学习其它编排工具的难度
docker swarm介绍
- 为什么不建议在生产环境中使用docker-compose?
- 多机器如何管理
- 如何跨机器做scale横向扩展
- 容器失败退出时如何新建容器确保服务正常运行
- 如何确保零宕机时间
- 如何管理密码、key等敏感数据
- 其它
- swarm的基本架构
swarm单节点快速上手
- 初始化
docker info这个命令可以查看我们的docker engine有没有激活swarm模式，默认是没有的，我们会看到
Swarm: inactive - 激活swarm有两个方法
- 初始化一个swarm集群，自己成为manager
- 加入一个已经存在的swarm集群
- docker swarm init背后发生了什么
主要是PKI和安全相关的自动化：
- 创建swarm集群的根证书
- manager节点的证书
- 其它节点加入集群需要的tokens
创建raft数据库用户存储证书、配置、密码等数据
raft是一个协议，这个协议主要用于分布式的、对一致性要求比较高的数据库
raft分布式一致性，带图形界面的
raft算法中的三个重要的概念：领导者选举、日志复制、snapshop快照。
- 将当前节点移除swarm集群
sudo docker swarm leave [--force]
swarm单节点service初体验
- 创建一个serice服务
sudo docker service create nginx:latest
查看service服务列表
sudo docker service ls
查看刚刚创建的容器服务：
sudo docker service ps service_id/name
也可以通过docker命令查看刚刚创建的容器：
sudo docker ps - 通过刚刚创建的service更新为3个容器服务
sudo docker service update x6h --replicas 3 - service并不仅仅是只能创建多个replicas，当service中的容器服务有挂掉之后，它还能为我们自动创建一个
我们通过移除一个容器服务看一下：
sudo docker container rm -f container_id
然后我们看一下service状态：
sudo docker service ps service_id
- 删除service
sudo docker service rm service_id
swarm三节点环境的搭建
- 多节点的环境涉及到机器之间的通信需求，当使用云主机的时候，下面的防火墙或安全组需要打开
TCP port 2376
TCP port 2377
TCP and UDP port 7946
UDP port 4789
- 云厂商购买3台云服务器，安装好docker和docker-compose，安全组打开上面的端口，一切就绪，准备开始了。
- 在其中的一台主机器上初始化swarm集群
sudo docker swarm init
在其它两台机器上执行下面的命令，加入这个swarm集群：
sudo docker swarm join --token xxxxxxxxxxxxxxxxxxxxxxxxxxx 172.17.82.242:2377
在manager节点执行命令查看集群节点信息：
sudo docker node ls
swarm三节点service在体验
- 创建一个service，并指定其名字
sudo docker service create --name web nginx
查看创建的service
sudo docker service ls
查看service详情，包括在哪一个节点上运行
sudo docker service ps web - 通过--replics复制刚刚起的nginx服务
sudo docker service update --replicas=3 web
我们测试杀死一个容器服务：
sudo docker container rm -f container_id
当我们杀死一个容器服务后，docker swarm会帮我们在起一个新的服务 - 另一种扩展/增加服务的方法
sudo docker service scale web=4 - 将服务的数量减少为1
sudo docker service scale web=1
会保留swarm集群中的一个容器服务，其它节点容器服务会被删除，但是其它节点的镜像和网络会保留。
查看service的详细信息：
sudo docker service inspect web - 查看service服务的日期信息，包括该条日志对应在哪个节点上的哪个服务上
sudo docker service logs -f web
swarm的overlay网络初体验
- 对弈swarm的网络，有两个重要点
- 外部如何访问部署在swarm集群内的服务，可以称为入方向流量，在swarm里，我们通过ingress来解决
- 部署在swarm集群内的服务，如何对外进行访问，可以分为两块
（1）东西向流量，也就是说不同swarm节点上的容器之间如何进行通信，swarm通过overlay网络来解决
（2）南北向流量，也就是说swarm集群里的容器如何对外访问，比如互联网，这个是linux bridge + iptables NAT来解决
- 创建一个overlay网络用于swarm不同节点上的容器之间的通信
sudo docker network create --driver overlay mynet - 创建一个service服务，使用我们刚刚创建的overlay网络
sudo docker service create --network mynet --name test --replicas 2 busybox ping 8.8.8.8
当在worker节点上创建该服务的时候，如果没有创建该网络，就会自动创建 - 查看容器服务的ip地址
sudo docker exec container_id ip addr
我们可以发现，该容器同时连接了两个网络，一个是overlay: mynet, 另一个是bridge: docker_gwbridge
swarm的overlay网络详解
- 容器内查看走哪个网络
ip route - 我们通过tcpdump抓包，来测试不同节点间容器通信走overlay通信
sudo apt-get install tcpdump
在当前机器上开启抓包：sudo tcpdump -i eth0 port 4789
在另外一台机器发起ping命令，与当前机器进行容器间通信
ping 10.0.1.3 -c 3
查看抓包结果：
swarm的ingress网络详解（上）
- docker swarm的ingress网络又叫Igress Routing Mesh
主要是为了实现把service的服务端口对外发布出去，让其能够被外部网络访问到
Ingress Routing Mesh是docker swarm网络里最复杂的一部分内容，包括一下几个方面：
- iptables的Destination NAT流量转发
- linux bridge, network namespace
- 使用IPVS技术做负载均衡
- 包括容器间的通信overlay和入方向流量的端口转发
- 创建一个service服务，开启两个副本
sudo docker service create --name web --network mynet -p 8008:80 --replicas 2 containous/whoami
通过curl请求我们刚刚创建的服务，manage节点
curl 172.17.82.242:8008
多次请求，会发现服务器会以负载均衡的方式向我们响应。
当我们访问另一个容器服务所在的节点work1时：
curl 172.17.82.241:8008
多次请求，发现跟访问manage节点一致，
当我们再次访问没有部署容器服务的work2节点时：
curl 172.17.82.240
多次请求，还能正常请求，还是进行负载均衡。
swarm的ingress网络详解（下）
- ingress数据包的走向
sudo iptables -nvL -t nat
输出
Chain DOCKER-INGRESS (2 references)
pkts bytes target prot opt in out source destination
14 816 DNAT tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:8008 to:172.19.0.2:8008
387 23282 RETURN all -- * * 0.0.0.0/0 0.0.0.0/0
我们可以看到会把本机ip:8008端口转发到172.19.0.2:8008端口，为啥呢？
我们查看本机的ip地址：ip addr
我们会发现172.19.0.2和本机的docker_gwbridge：172.19.0.1在同一网络下，
2. 查看docker_gwbridge网络详情
sudo docker network inspect docker_gwbridge
我们发现该网络下有两个Containers，一个是我们运行的web容器，另一个就是ingress-sbox: 172.19.0.2IP地址的network namespace(网络命名空间)
3. 进入ingress-box命名空间
sudo docker run -it --rm -v /var/run/docker/netns:/netns --privileged=true nicolaka/netshoot nsenter --net=/netns/ingress_sbox sh
该命令会启动一个容器并加载我们的命名空间
4. 进入去命名空间后，查看ip地址
ip a
里面有两个ip地址，一个是连接到了docker_gwbridge网络，另一个是连接到了ingress网络
5. ipvs负载均衡
ipvsadm
6. 关于这里的ipvs负载均衡
这是一个stateless load balancing（无状态负载均衡）
这是三层的负载均衡，不是四层的 LB is at OSI Layer 3 (TCP), not Layer 4 (DNS)
以上两个限制可以通过Nginx或者HAProxy LB proxy解决
swarm内部的负载均衡_batch
- 创建一个mynet的overlay网络，创建一个service
sudo docker network create --driver overlay mynet
sudo docker service create --name web --network mynet --replicas 2 containous/whoami - 创建一个client
sudo docker service create --name client --network mynet 1341935532/net-box ping 8.8.8.8 - 尝试进入client这个容器，去ping web这个service name， 获取到的IP 10.0.1.30，称之为VIP（虚拟IP）
sudo docker exec -it container_id sh
ping一下我们的web服务
ping web
查看我们创建的网络的详情
sudo docker network inspect mynet
发现容器里面有一个叫lb_mynet网络命名空间network namespace - 查看lb_mynet
sudo ls /var/run/docker/netns
参考文档
部署多service应用_batch
- 如何像docker-compose一样部署多服务应用，这一节我们先看手动的方式
创建一个mynet的overlay网络
sudo docker network create --driver overlay mynet - 创建一个redis service
sudo docker service create --network mynet --name redis redis:latest redis-server --requirepass ABC123 - 创建一个flask服务
sudo docker service create --network mynet --name flask --env REDIS_PASS=ABC123 --env REDIS_HOST=redis -p 8008:5000 xiaopeng163/flask-redis:latest
注意：swarm里面是不能进行镜像的构建、因为swarm是为了生产环境使用的，生产环境不能进行镜像的构建
而docker-compose适用于开发环境，所以可以进行镜像的构建
stack部署多service应用
- 克隆代码
git clone https://github.com/xiaopeng163/flask-redis - 构建镜像，注意将docker-compose.yml中的镜像id改为自己的
docker-compose build - 将镜像推送到我们自己的docker hub上
sudo docker-compose push - stack这个命令就是swarm版本的compose
compose是用于单机环境，stack是用于swarm集群环境 - 通过stack启动服务
sudo env REDIS_PASSWORD=ABC123 docker stack deploy --compose-file docker-compose.yml flask-demo
查看服务
sudo docker stack ls
查看服务列表
sudo docker stack ps flask-demo
访问我们刚刚启动的服务
curl 127.0.0.1:8008 - 删除stack创建的服务
sudo docker stack rm flask-demo
在swarm中使用secret
- 从标准输入创建一个secret
sudo echo abc123 | sudo docker secret create mysql_pass -
查看secret
sudo docker secret ls
查看secret详情
sudo docker secret inspect secret_id
我们可以看到secret的id、name，但是看不到secret本身，因为它存在了raft数据库里面了。 - 删除secret
sudo docker secret rm mysql_pass - 通过文件创建secret
sudo docker secret create mysql_pass mysql_pass.txt - 查看容器中加载的secret
sudo docker service create --name test --secret mysql_pass 1341935532/net-box ping 8.8.8.8 // 创建service服务
sudo docker service ls // 查看服务id
sudo docker service ps service_id // 通过服务id查看服务所在的节点
sudo docker ps -a // 通过节点查看容器服务
sudo docker exec -it container_id sh // 通过容器id进入容器服务
cd /run/secrets/ // 进入到secrets目录下
ls // 查看到了mysql_pass
more mysql_pass // 查看到了密码：abc123
- 使用secret
sudo docker service create --secret mysql_pass --name mysql-demo -e MYSQL_ROOT_PASSWORD_FILE=/run/secrets/mysql_pass -d mysql:5.7 // 创建一个mysql服务，密码使用secret秘钥的形式
sudo docker exec -it container_id sh // 进入容器shell
mysql -uroot -pabc123 // 使用刚刚创建的秘钥连接mysql，成功
注意：secret并不是适用于所有的镜像，需要查看docker hub官方的文档，看支持不支持secret.
secrets 官方文档
swarm使用本地volume
- docker-compose.yml文件
version: "3.8"
services:
db:
image: mysql:5.7
environment:
- MYSQL_ROOT_PASSWORD_FILE=/run/secrets/mysql_pass
secrets:
- mysql_pass
volumes:
- data:/var/lib/mysql
volumes:
data:
secrets:
mysql_pass:
file: mysql_pass.txt
- mysql_pass.txt文件
abc123456 - 通过stack和docker-compose.yml创建我们的集群服务, db就是stack的名字
sudo docker stack deploy --compose-file docker-compose.yml db - 删除stack
sudo docker stack rm db
swarm练习之投票app
- 克隆代码
git clone https://github.com/dockersamples/example-voting-app - 通过stack构建投票服务
sudo docker stack deploy --compose-file docker-stack.yml vote
由于原版有点bug，所以我们需要打开docker-stack.yml文件，对postgres增加如下envrironment配置
POSTGRES_HOST_AUTH_METHOD: "trust"
此问题参考官方文档
