K8S Flannel网络插件
0.前言
参考文档:https://github.com/containernetworking/cni
Pod网络插件,为了实现Pod网络而需要的插件、组件。由于Kubernetes通过开放的CNI接口来允许插件的接入,所以它又称之为CNI网络插件。
为了解决跨主机容器间通信问题,市面上存在很多解决方案,为了兼容和规范这些解决方案,Kubernetes仅设计了网络模型,却将Pod网络的实现交给了CNI网络插件,并允许网络插件通过标准的CNI(Container Network Interface,容器网络接口)连接到容器管理系统。
CNI网络插件主要解决的就是容器跨主机通信问题而存在的,并使跨主机间运行的Pod位于同一个网络平面,其大致解决步骤通常有两步:分配设置自定义容器网络(PodIP在集群中全局唯一性)和实现容器网络通信(处理方法通常有路由、覆盖网络{Vxlan、IPIP}等等)。
每个Pod都会创建一个名叫"pause"的根容器,其他运行的业务容器都是复制该容器的网络,这个容器就是Kubernetes为了自定义网络等特殊功能而存在的。
CNI网络插件分为以下四种:
- MAIN,主要的,创建接口,主要网络的实现。如:bridge、ipvlan、loopback、macvlan、ptp、vlan、host-device。
- Windows,特用于Windows的MAIN插件。如:win-bridge、win-overlay。
- IPAM,仅提供IP地址分配功能。如:dhcp、host-local、static。
- META,其他插件,通过调用第三方插件来实现网络功能。如:tuning、portmap、bandwidth、sbr、firewall、flannel。
光单独靠一种CNI网络插件是无法实现完整的Pod网络通信和更高级的网络策略功能的,第三方组织可以灵活的组合这些CNI插件实现基本Pod网络功能和更高级功能,所以市面上流行出来很多解决方案。
在现今,比较常用的流行的Pod网络解决方案有Flannel和Calico(支持网络策略功能)、Canal(由Flannel实现网络通信+Calico提供网络策略)。
1.Flannel概述
参考文档:https://github.com/flannel-io/flannel
Flannel是一种专为Kubernetes设计简单易配置的Pod网络通信方案。
1.1.PodIP(容器IP)地址分配方法
Flannel在每个主机运行一个代理"flanneld"负责从预置的网络地址空间"10.244.0.0/16"中为每个节点主机分配一个独立的子网"如10.244.0.0/24、10.244.1.0/24...依次类推",每个节点都拥有一个独立子网。Flannel直接通过Kubernetes API 或Etcd来存储网络配置、分配的子网和任何辅助数据(例如主机的公共IP)。
[root@k8s-master01 ~]# ps aux |grep flannel |grep -v grep
root 129882 0.1 1.1 1406468 21844 ? Ssl 01:58 0:01 /opt/bin/flanneld --ip-masq --kube-subnet-mgr
[root@k8s-master01 ~]# ifconfig
cni0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet 10.244.0.1 netmask 255.255.255.0 broadcast 10.244.0.255
inet6 fe80::40e6:c0ff:fe73:7322 prefixlen 64 scopeid 0x20<link>
ether 42:e6:c0:73:73:22 txqueuelen 1000 (Ethernet)
RX packets 2135 bytes 173643 (169.5 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 2144 bytes 221369 (216.1 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.124.134 netmask 255.255.255.0 broadcast 192.168.124.255
ether 00:0c:29:40:e3:9f txqueuelen 1000 (Ethernet)
RX packets 21776361 bytes 3312500382 (3.0 GiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 21943903 bytes 3680963238 (3.4 GiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet 10.244.0.0 netmask 255.255.255.255 broadcast 0.0.0.0
inet6 fe80::743d:5cff:febf:9d75 prefixlen 64 scopeid 0x20<link>
ether 76:3d:5c:bf:9d:75 txqueuelen 0 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 8 overruns 0 carrier 0 collisions 0
....
veth5af012c2: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet6 fe80::7c96:79ff:feb5:e5d1 prefixlen 64 scopeid 0x20<link>
ether 7e:96:79:b5:e5:d1 txqueuelen 0 (Ethernet)
RX packets 1071 bytes 102134 (99.7 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1091 bytes 112057 (109.4 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
veth72fc4936: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet6 fe80::f44a:83ff:fe6b:e926 prefixlen 64 scopeid 0x20<link>
ether f6:4a:83:6b:e9:26 txqueuelen 0 (Ethernet)
RX packets 1064 bytes 101399 (99.0 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1072 bytes 110626 (108.0 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
Flannel会在每个创建的Pod从子网中"10.244.0.0/24"分配一个集群中全局唯一的PodIP,每个主机上创建一个名为"cni|cbr0"的拥有IP地址"10.244.0.1"的虚拟网卡(地址在全局唯一)作为Pod的网关,
用于跨主机Pod间网络通信。如下图所示:
1.2.跨主机Pod网络通信实现方法
参考文档:https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md
Flannel支持多种跨主机间Pod通信处理方法(backend mechanisms,又称之为后端机制)。
1.2.1.HOST-GW
host-gw,Host GateWay,主机网关,在节点主机上创建到达目标Pod地址的路由直接完成报文转发。
该模式仅适用于物理主机在同一个局域网中,在跨网段的物理主机网络中,需要在跨网段的路由设备上手动添加静态路由,随着路由的跳数会增加路由条目的数量,增加复杂度。
1.2.2.VXLAN
VxLAN(默认),VxLAN,Virtual extensible Local Area Network,虚拟可扩展局域网。Flannel使用Linux内核的VxLAN模块将虚拟网络数据包信息封装到物理网络的报文中,然后通过物理网络传输报文,类似于VPN隧道封装技术。这将会在所有节点主机上创建一个名叫"flannel.1"的虚拟网卡用于VxLAN报文的封装和解封装工作,Flannel会将这个网卡的MAC和IP相关信息记录到Etcd。
VxLAN有两种跨主机通信机制:
VxLAN Default:默认机制
VxLAN DirectRouting:使用直接路由的方式通信,类似于host-gw,当主机在同一个子网时则通过静态路由的方式直接将Pod网络报文转发到其他主机上,如果主机在不同子网中时则采用默认的VxLAN通信方式。在配置参数中使用"DirectRouting:true"即可。
1.2.3.UDP
UDP,使用普通的UDP报文封装成隧道转发,工作原理等同于VxLAN,只不过封装的报文为UDP报文。仅用于调试,当前面两种模式不适用时,则可以使用该通信方式(早期的Linux内核不支持VxLAN)。该模式性能与前两种对比较低。
2.安装Flannel网络插件
参考文档:https://github.com/flannel-io/flannel
当前主机环境:
- 主机系统版本:CentOS Linux release 7.6.1810 (Core)
- Kubernetes版本:v1.23.0
安装要求:无
1、配置Github域名加速
安装清单文件来源于Github,所以需要配置一下域名加速。
浏览器输入"https://www.ipaddress.com/"查询获取域名解析国内IP。
向主机Host文件添加记录:
[root@k8s-master01 ~]# cat >> /etc/hosts <<EOF
185.199.108.133 raw.githubusercontent.com
EOF
2、下载清单文件
Kubernetes v1.17+:
[root@k8s-master01 ~]# wget https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml -O flannel.yml
Kubernetes v1.6~v1.15:
[root@k8s-master01 ~]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/k8s-manifests/kube-flannel-legacy.yml -O flannel-legacy.yml
3、配置Flannel
Flannel默认使用的Pod子网(CIDR)是"10.244.0.0/16",如果你在初始化集群的时候设置的Pod子网为其他网段,则这边需要修改为相同的子网。
Flannel默认使用的后端机制为VXLAN。配置后端可以参考"https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md"文档。
[root@k8s-master01 ~]# vim flannel.yml
...
kind: ConfigMap
apiVersion: v1
metadata:
name: kube-flannel-cfg
namespace: kube-system
labels:
tier: node
app: flannel
data:
cni-conf.json: |
{
"name": "cbr0",
"cniVersion": "0.3.1",
"type": "flannel",
"delegate": {
"hairpinMode": true,
"isDefaultGateway": true
}
}
net-conf.json: |
{
"Network": "10.244.0.0/16",
"Backend": {
"Type": "vxlan"
}
}
...
4、使用清单文件安装Flannel
[root@k8s-master01 ~]# kubectl apply -f flannel.yaml
3.Flannel配置详解(安装Flannel前必读)
参考文档:https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md
通过flannel.yaml清单文件可以看到flannel的配置信息保存到了ConfigMap/kube-flannel-cfg中名叫net-conf.json的文件。
我们可以通过修改相关配置来修改Flannel的工作模式和相关参数。
kind: ConfigMap
apiVersion: v1
metadata:
name: kube-flannel-cfg
namespace: kube-system
labels:
tier: node
app: flannel
data:
cni-conf.json: |
{
"name": "cbr0",
"cniVersion": "0.3.1",
"plugins": [
{
"type": "flannel",
"delegate": {
"hairpinMode": true,
"isDefaultGateway": true
}
},
{
"type": "portmap",
"capabilities": {
"portMappings": true
}
}
]
}
net-conf.json: |
{
"Network": "10.244.0.0/16",
"Backend": {
"Type": "vxlan"
}
}
3.2.配置Flannel工作模式为VXLAN相关配置项
VxLAN,Virtual extensible Local Area Network,虚拟可扩展局域网。
Type(string): vxlan
设置Flannel工作模式为"vxlan"。
VNI(number)
设置要使用的VXLAN标识符(VNI)。在Linux中默认值为1。 在Windows上应该大于或等于4096。
Port(number)
用于发送封装数据包的 UDP 端口。 在Linux上,默认值为内核默认值,目前为8472,但在Windows上,必须为4789。
GBP(Boolean):
Group Based Policy,启用基于VXLAN组的策略。默认为false。Windows不支持GBP。
DirectRouting(Boolean):
直接路由的意思,当主机位于同一个局域网时,则采用静态路由的方式进行Pod间通信,类似于host-gw的工作方式。当主机在不同的子网中时,则采用Vxlan隧道方式通信。该配置默认值为false。Windows不支持该功能。
MacPrefix(String):
仅用于Windows,设置Mac前缀。默认为OE-2A。
3.3.配置Flannel工作模式为HOST-GW相关配置项
Host GateWay,主机网关。
Type(string): host-gw
设置Flannel工作模式为"host-gw"。
3.4.配置Flannel工作模式为UDP相关配置项
仅当主机不支持VxLAN和host-gw模式的时候才建议使用该模式。
Type(string): udp
设置Flannel工作模式为"udp"。
Port(number):
设置发送封装数据包要使用的UDP端口。默认为8285.
4.完全卸载Flannel网络插件
想要完全的从主机上移除Flannel,除了需要删除已运行的Pod之外,还需要删除主机中相关的创建虚拟网卡设备和相关CNI配置文件。
1、基于安装清单删除Flannel创建的资源对象
在任一Master节点上操作:
[root@k8s-master01 ~]# kubectl delete -f flannel.yml
2、移除虚拟网卡
在所有主机上操作:
[root@k8s-master01 ~]# ifconfig cni0 down
[root@k8s-master01 ~]# ip link delete cni0
[root@k8s-master01 ~]# ifconfig flannel.1 down
[root@k8s-master01 ~]# ip link delete flannel.1
3、删除Flannel相关CNI配置文件
[root@k8s-master01 ~]# rm -rf /var/lib/cni/
[root@k8s-master01 ~]# rm -rf /etc/cni/net.d/*
4、重启kubelet服务
[root@k8s-master01 ~]# systemctl restart kubelet
[root@k8s-master01 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master01 NotReady control-plane,master 3h56m v1.23.0
k8s-master02 NotReady control-plane,master 3h55m v1.23.0
k8s-master03 NotReady control-plane,master 3h55m v1.23.0
k8s-node01 NotReady <none> 3h52m v1.23.0