Kubernets二进制安装(13)之部署Flannel

Flannel简介

​ Flannel是CoreDNS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。但在默认的Docker配置中，每个Node的Docker服务会分别负责所在节点容器的IP分配。Node内部的容器之间可以互相访问，但是不能跨主机(Node)网络相互间是不能直接通信的。Flannel设计目的就是为集群中所有节点重新规划IP地址的使用规则，从而使得在不同的节点上的容器能够获得“同属一个内网”且“不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。

​ Flannel使用etcd存储配置数据和子网分配信息。Flannel启动之后，后台进程首先检索配置和正在使用的子网列表，然后选择一个可用的子网，然后尝试去注册它。etcd也存储了每个主机对应的IP地址。flannel使用etcd的watch机制监视/coreos.com/network/subnets下面所有元素的变化信息，并且根据它来维护一个路由表。为了提高性能，flannel优化了Unversal TAP/TUN设备，对TUN和UDP之间的IP分片做了代理

Flannel原理图如下：

上图Flannel的工作原理解释如下：

1.数据从源容器中发出后，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡，这是一个p2p的虚拟网卡，flanneld服务监听在网卡的另外一端
2.Flannel通过etcd服务维护了一张节点间的路由表，此张表里保存了各个节点主机的子网的网段信息
3.源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达后被解包，然后会直接进入到目的节点的flannel0虚拟网卡，然后被发到目的主机的docker0虚拟网卡，最后就像本机容器通信一样的由docker0路由到达目标容器

除了UDP，Flannel还支持很多其它的Backend，但是不支持运行时修改Backend

部分Backend如下：

Backend	说明
udp	使用用户态udp封闭，默认使用8285端口。由于是在用户态封装和解包，性能上有较大的损失，建议只用于debug，如果网卡支持enable upd offload，直接由网卡进行拆包解包，性能还是很好的
vxlan	vxlan封装，需要配置VNI，Port(默认8472)和GBP，性能损耗大概在20%-30%
host-gw	直接路由方式，将容器网络的路由信息直接更新到主机的路由表中，仅适用于二层直接可达的网络,因此只适用于小集群,性能损耗大概为10%
aws-vpc	使用Amazon VPC route table创建路由，适用于AWS上运行的容器
gce	使用Google Compute Engine Network创建路由，所有instance需要开启IP forwarding，适用于GCE上运行的容器
ali-vpc	使用阿里云VPC route table创建路由，适用于阿里云上运行的容器

官方推荐使用的Backend：VXLAN host-gw UDP

实验性的Backend，不建议上生产：AliVPC Alloc AWS VPC GCE IPIP IPSec

Flannel二进制安装

1.集群规划

主机名	角色	IP地址
mfyxw30.mfyxw.com	flannel	192.168.80.30
mfyxw40.mfyxw.com	flannel	192.168.80.40

2.下载flannel

flannel链接：https://github.com/coreos/flannel

flannelv0.11.0下载地址：https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz

flannelv0.12.0下载地址：https://github.com/coreos/flannel/releases/download/v0.12.0/flannel-v0.12.0-linux-amd64.tar.gz

可以在mfyxw40或mfyxw30主机上使用wget来下载，也可以在宿主机上通过迅雷或其它工具下载好再上传到服务器

#在mfyxw30.mfyxw.com主机上执行
[root@mfyxw30 ~]# wget https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz

#在mfyxw40.mfyxw.com主机上执行
[root@mfyxw40 ~]# wget https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz

3.解压flannel并创建软链接

#在mfyxw30.mfyxw.com主机上执行
[root@mfyxw30 ~]# mkdir -p /opt/flannel-v0.12.0
[root@mfyxw30 ~]# tar xf flannel-v0.12.0-linux-amd64.tar.gz -C /opt/flanneld-v0.12.0/
[root@mfyxw30 ~]# ln -s /opt/flanneld-v0.12.0 /opt/flanneld

#在mfyxw40.mfyxw.com主机上执行
[root@mfyxw40 ~]# mkdir -p /opt/flannel-v0.12.0
[root@mfyxw40 ~]# tar xf flannel-v0.12.0-linux-amd64.tar.gz -C /opt/flanneld-v0.12.0/
[root@mfyxw40 ~]# ln -s /opt/flanneld-v0.12.0 /opt/flanneld

4.复制证书文件

分别在mfyxw30和mfyxw40主机上/opt/flanneld/目录下创建cert目录,以mfyxw30为例

[root@mfyxw30 ~]# mkdir -p /opt/flanneld/cert
[root@mfyxw30 ~]# cd /opt/flanneld/cert
[root@mfyxw30 cert]# scp -r root@mfyxw50:/opt/certs/ca.pem .
[root@mfyxw30 cert]# scp -r root@mfyxw50:/opt/certs/client.pem .
[root@mfyxw30 cert]# scp -r root@mfyxw50:/opt/certs/client-key.pem .

在mfyxw40主机复制证书到/opt/flanneld/cert目录中

[root@mfyxw40 ~]# mkdir -p /opt/flanneld/cert
[root@mfyxw40 ~]# cd /opt/flanneld/cert
[root@mfyxw40 cert]# scp -r root@mfyxw50:/opt/certs/ca.pem .
[root@mfyxw40 cert]# scp -r root@mfyxw50:/opt/certs/client.pem .
[root@mfyxw40 cert]# scp -r root@mfyxw50:/opt/certs/client-key.pem .

5.配置subnet.env文件

Flannel会将本机的subnet信息对应的环境变量注入到该文件中，Flannel真正是从这里获取subnet信息的

在mfyxw30.mfyxw.com主机上添加flannel的subnet.env文件

[root@mfyxw30 ~]# cat > /opt/flanneld/subnet.env << EOF
FLANNEL_NETWORK=10.10.0.0/16
FLANNEL_SUBNET=10.10.30.1/24
FLANNEL_MTU=1500
FLANNEL_IPMASQ=false
EOF

在mfyxw40.mfyxw.com主机上添加flannel的subnet.env文件

[root@mfyxw40 ~]# cat > /opt/flanneld/subnet.env << EOF
FLANNEL_NETWORK=10.10.0.0/16
FLANNEL_SUBNET=10.10.40.1/24
FLANNEL_MTU=1500
FLANNEL_IPMASQ=false
EOF

6.为flanneld提供启动脚本

在mfyxw30.mfyxw.com主机上为flanneld创建启动脚本文件/opt/flanneld/flannel.sh

[root@mfyxw30 ~]# cat > /opt/flanneld/flannel.sh << EOF
#!/bin/sh
./flanneld \\
  --public-ip=192.168.80.30 \\
  --etcd-endpoints=https://192.168.80.20:2379,https://192.168.80.30:2379,https://192.168.80.40:2379 \\
  --etcd-keyfile=/opt/flanneld/cert/client-key.pem \\
  --etcd-certfile=/opt/flanneld/cert/client.pem \\
  --etcd-cafile=/opt/flanneld/cert/ca.pem \\
  --iface=ens33 \\
  --subnet-file=/opt/flanneld/subnet.env \\
  --healthz-port=2401
EOF

在mfyxw40.mfyxw.com主机上为flanneld创建启动脚本文件/opt/flanneld/flannel.sh

[root@mfyxw40 ~]# cat > /opt/flanneld/flannel.sh << EOF
#!/bin/sh
./flanneld \\
  --public-ip=192.168.80.40 \\
  --etcd-endpoints=https://192.168.80.20:2379,https://192.168.80.30:2379,https://192.168.80.40:2379 \\
  --etcd-keyfile=/opt/flanneld/cert/client-key.pem \\
  --etcd-certfile=/opt/flanneld/cert/client.pem \\
  --etcd-cafile=/opt/flanneld/cert/ca.pem \\
  --iface=ens33 \\
  --subnet-file=/opt/flanneld/subnet.env \\
  --healthz-port=2401
EOF

7.为flannel.sh脚本赋予可执行权限

分别在mfyxw30和mfyxw40主机上执行如下命令，以mfyxw30为例

[root@mfyxw30 ~]# chmod +x /opt/flanneld/flannel.sh

8.操作etcd，增加host-gw

在安装了etcd的主机(mfyxw20,mfyxw30,mfyxw40)中的任意一台上执行如下命令，以mfyxw30主机为例查看etcd主运行在哪台主机上

[root@mfyxw30 ~]# cd /opt/etcd
[root@mfyxw30 ~]# ./etcdctl member list                  

登录到etcd主的主机mfyxw20上执行如下命令

[root@mfyxw20 ~]# ./etcdctl set /coreos.com/network/config '{"Network": "10.10.0.0/16", "Backend": {"Type": "host-gw"}}'

温馨提示：

Network：用于指定Flanneld地址池

Backend：用于指定数据包以什么方式转发，默认为udp模式，host-gw模式最好，但不能跨宿主机网络

9.为flanneld创建supervisor配置文件

在mfyxw30.mfyxw.com主机上创建supervisor配置文件

[root@mfyxw30 ~]# cat > /etc/supervisord.d/flanneld.ini << EOF
[program:flanneld-80-30]
command=/opt/flanneld/flannel.sh
numprocs=1
directory=/opt/flanneld
autostart=true
autorestart=true
startsecs=30
startretries=3
exitcodes=0,2
stopsignal=QUIT
stopwaitsecs=10
user=root
redirect_stderr=true
stdout_logfile=/data/logs/flanneld/flanneld.stdout.log
stdout_logfile_maxbytes=64MB
stdout_logfile_backups=4
stdout_capture_maxbytes=1MB
stdout_events_enabled=false
EOF

在mfyxw40.mfyxw.com主机上创建supervisor配置文件

[root@mfyxw40 ~]# cat > /etc/supervisord.d/flanneld.ini << EOF
[program:flanneld-80-40]
command=/opt/flanneld/flannel.sh
numprocs=1
directory=/opt/flanneld
autostart=true
autorestart=true
startsecs=30
startretries=3
exitcodes=0,2
stopsignal=QUIT
stopwaitsecs=10
user=root
redirect_stderr=true
stdout_logfile=/data/logs/flanneld/flanneld.stdout.log
stdout_logfile_maxbytes=64MB
stdout_logfile_backups=4
stdout_capture_maxbytes=1MB
stdout_events_enabled=false 
EOF

10.创建日志文件目录

分别在mfyxw30和mfyxw40上机上创建flannel的日志文件目录

在mfyxw30主机上执行
[root@mfyxw30 ~]# mkdir -p /data/logs/flanneld

在mfyxw40主机上执行
[root@mfyxw40 ~]# mkdir -p /data/logs/flanneld

11.启动服务并检查

在mfyxw30主机上执行

[root@mfyxw30 ~]# supervisorctl update
[root@mfyxw30 ~]# supervisorctl status

在mfyxw40主机上执行

[root@mfyxw40 ~]# supervisorctl update
[root@mfyxw40 ~]# supervisorctl status