K8S Flannel网络插件

0.前言

参考文档:https://github.com/containernetworking/cni
Pod网络插件,为了实现Pod网络而需要的插件、组件。由于Kubernetes通过开放的CNI接口来允许插件的接入,所以它又称之为CNI网络插件。
为了解决跨主机容器间通信问题,市面上存在很多解决方案,为了兼容和规范这些解决方案,Kubernetes仅设计了网络模型,却将Pod网络的实现交给了CNI网络插件,并允许网络插件通过标准的CNI(Container Network Interface,容器网络接口)连接到容器管理系统。
CNI网络插件主要解决的就是容器跨主机通信问题而存在的,并使跨主机间运行的Pod位于同一个网络平面,其大致解决步骤通常有两步:分配设置自定义容器网络(PodIP在集群中全局唯一性)和实现容器网络通信(处理方法通常有路由、覆盖网络{Vxlan、IPIP}等等)。
每个Pod都会创建一个名叫"pause"的根容器,其他运行的业务容器都是复制该容器的网络,这个容器就是Kubernetes为了自定义网络等特殊功能而存在的。
CNI网络插件分为以下四种:

  • MAIN,主要的,创建接口,主要网络的实现。如:bridge、ipvlan、loopback、macvlan、ptp、vlan、host-device。
  • Windows,特用于Windows的MAIN插件。如:win-bridge、win-overlay。
  • IPAM,仅提供IP地址分配功能。如:dhcp、host-local、static。
  • META,其他插件,通过调用第三方插件来实现网络功能。如:tuning、portmap、bandwidth、sbr、firewall、flannel。

光单独靠一种CNI网络插件是无法实现完整的Pod网络通信和更高级的网络策略功能的,第三方组织可以灵活的组合这些CNI插件实现基本Pod网络功能和更高级功能,所以市面上流行出来很多解决方案。
在现今,比较常用的流行的Pod网络解决方案有Flannel和Calico(支持网络策略功能)、Canal(由Flannel实现网络通信+Calico提供网络策略)。

1.Flannel概述

参考文档:https://github.com/flannel-io/flannel
Flannel是一种专为Kubernetes设计简单易配置的Pod网络通信方案。

1.1.PodIP(容器IP)地址分配方法

Flannel在每个主机运行一个代理"flanneld"负责从预置的网络地址空间"10.244.0.0/16"中为每个节点主机分配一个独立的子网"如10.244.0.0/24、10.244.1.0/24...依次类推",每个节点都拥有一个独立子网。Flannel直接通过Kubernetes API 或Etcd来存储网络配置、分配的子网和任何辅助数据(例如主机的公共IP)。

[root@k8s-master01 ~]# ps aux |grep flannel |grep -v grep
root     129882  0.1  1.1 1406468 21844 ?       Ssl  01:58   0:01 /opt/bin/flanneld --ip-masq --kube-subnet-mgr
[root@k8s-master01 ~]# ifconfig
cni0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.0.1  netmask 255.255.255.0  broadcast 10.244.0.255
        inet6 fe80::40e6:c0ff:fe73:7322  prefixlen 64  scopeid 0x20<link>
        ether 42:e6:c0:73:73:22  txqueuelen 1000  (Ethernet)
        RX packets 2135  bytes 173643 (169.5 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 2144  bytes 221369 (216.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.124.134  netmask 255.255.255.0  broadcast 192.168.124.255
        ether 00:0c:29:40:e3:9f  txqueuelen 1000  (Ethernet)
        RX packets 21776361  bytes 3312500382 (3.0 GiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 21943903  bytes 3680963238 (3.4 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.0.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::743d:5cff:febf:9d75  prefixlen 64  scopeid 0x20<link>
        ether 76:3d:5c:bf:9d:75  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 8 overruns 0  carrier 0  collisions 0

....

veth5af012c2: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet6 fe80::7c96:79ff:feb5:e5d1  prefixlen 64  scopeid 0x20<link>
        ether 7e:96:79:b5:e5:d1  txqueuelen 0  (Ethernet)
        RX packets 1071  bytes 102134 (99.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 1091  bytes 112057 (109.4 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

veth72fc4936: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet6 fe80::f44a:83ff:fe6b:e926  prefixlen 64  scopeid 0x20<link>
        ether f6:4a:83:6b:e9:26  txqueuelen 0  (Ethernet)
        RX packets 1064  bytes 101399 (99.0 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 1072  bytes 110626 (108.0 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Flannel会在每个创建的Pod从子网中"10.244.0.0/24"分配一个集群中全局唯一的PodIP,每个主机上创建一个名为"cni|cbr0"的拥有IP地址"10.244.0.1"的虚拟网卡(地址在全局唯一)作为Pod的网关,
用于跨主机Pod间网络通信。如下图所示:

1.2.跨主机Pod网络通信实现方法

参考文档:https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md
Flannel支持多种跨主机间Pod通信处理方法(backend mechanisms,又称之为后端机制)。

1.2.1.HOST-GW

host-gw,Host GateWay,主机网关,在节点主机上创建到达目标Pod地址的路由直接完成报文转发。
该模式仅适用于物理主机在同一个局域网中,在跨网段的物理主机网络中,需要在跨网段的路由设备上手动添加静态路由,随着路由的跳数会增加路由条目的数量,增加复杂度。

1.2.2.VXLAN

VxLAN(默认),VxLAN,Virtual extensible Local Area Network,虚拟可扩展局域网。Flannel使用Linux内核的VxLAN模块将虚拟网络数据包信息封装到物理网络的报文中,然后通过物理网络传输报文,类似于VPN隧道封装技术。这将会在所有节点主机上创建一个名叫"flannel.1"的虚拟网卡用于VxLAN报文的封装和解封装工作,Flannel会将这个网卡的MAC和IP相关信息记录到Etcd。
VxLAN有两种跨主机通信机制:
VxLAN Default:默认机制

VxLAN DirectRouting:使用直接路由的方式通信,类似于host-gw,当主机在同一个子网时则通过静态路由的方式直接将Pod网络报文转发到其他主机上,如果主机在不同子网中时则采用默认的VxLAN通信方式。在配置参数中使用"DirectRouting:true"即可。

1.2.3.UDP

UDP,使用普通的UDP报文封装成隧道转发,工作原理等同于VxLAN,只不过封装的报文为UDP报文。仅用于调试,当前面两种模式不适用时,则可以使用该通信方式(早期的Linux内核不支持VxLAN)。该模式性能与前两种对比较低。

2.安装Flannel网络插件

参考文档:https://github.com/flannel-io/flannel
当前主机环境:

  • 主机系统版本:CentOS Linux release 7.6.1810 (Core)
  • Kubernetes版本:v1.23.0
    安装要求:无

1、配置Github域名加速

安装清单文件来源于Github,所以需要配置一下域名加速。
浏览器输入"https://www.ipaddress.com/"查询获取域名解析国内IP。

向主机Host文件添加记录:

[root@k8s-master01 ~]# cat >> /etc/hosts <<EOF
185.199.108.133 raw.githubusercontent.com
EOF

2、下载清单文件

Kubernetes v1.17+:

[root@k8s-master01 ~]# wget https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml -O flannel.yml

Kubernetes v1.6~v1.15:

[root@k8s-master01 ~]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/k8s-manifests/kube-flannel-legacy.yml -O flannel-legacy.yml

3、配置Flannel

Flannel默认使用的Pod子网(CIDR)是"10.244.0.0/16",如果你在初始化集群的时候设置的Pod子网为其他网段,则这边需要修改为相同的子网。
Flannel默认使用的后端机制为VXLAN。配置后端可以参考"https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md"文档。

[root@k8s-master01 ~]# vim flannel.yml
...
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  namespace: kube-system
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "cniVersion": "0.3.1",
      "type": "flannel",
      "delegate": {
        "hairpinMode": true,
        "isDefaultGateway": true
      }
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }
...

4、使用清单文件安装Flannel

[root@k8s-master01 ~]# kubectl apply -f flannel.yaml

3.Flannel配置详解(安装Flannel前必读)

参考文档:https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md
通过flannel.yaml清单文件可以看到flannel的配置信息保存到了ConfigMap/kube-flannel-cfg中名叫net-conf.json的文件。
我们可以通过修改相关配置来修改Flannel的工作模式和相关参数。

kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  namespace: kube-system
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    { 
      "name": "cbr0",
      "cniVersion": "0.3.1",
      "plugins": [
        { 
          "type": "flannel",
          "delegate": {
            "hairpinMode": true,
            "isDefaultGateway": true
          }
        },
        {
          "type": "portmap",
          "capabilities": {
            "portMappings": true
          }
        }
      ]
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }

3.2.配置Flannel工作模式为VXLAN相关配置项

VxLAN,Virtual extensible Local Area Network,虚拟可扩展局域网。

Type(string): vxlan

设置Flannel工作模式为"vxlan"。

VNI(number)

设置要使用的VXLAN标识符(VNI)。在Linux中默认值为1。 在Windows上应该大于或等于4096。

Port(number)

用于发送封装数据包的 UDP 端口。 在Linux上,默认值为内核默认值,目前为8472,但在Windows上,必须为4789。

GBP(Boolean):

Group Based Policy,启用基于VXLAN组的策略。默认为false。Windows不支持GBP。

DirectRouting(Boolean):

直接路由的意思,当主机位于同一个局域网时,则采用静态路由的方式进行Pod间通信,类似于host-gw的工作方式。当主机在不同的子网中时,则采用Vxlan隧道方式通信。该配置默认值为false。Windows不支持该功能。

MacPrefix(String):

仅用于Windows,设置Mac前缀。默认为OE-2A。

3.3.配置Flannel工作模式为HOST-GW相关配置项

Host GateWay,主机网关。

Type(string): host-gw

设置Flannel工作模式为"host-gw"。

3.4.配置Flannel工作模式为UDP相关配置项

仅当主机不支持VxLAN和host-gw模式的时候才建议使用该模式。

Type(string): udp

设置Flannel工作模式为"udp"。

Port(number):

设置发送封装数据包要使用的UDP端口。默认为8285.

4.完全卸载Flannel网络插件

想要完全的从主机上移除Flannel,除了需要删除已运行的Pod之外,还需要删除主机中相关的创建虚拟网卡设备和相关CNI配置文件。

1、基于安装清单删除Flannel创建的资源对象

在任一Master节点上操作:

[root@k8s-master01 ~]# kubectl delete -f flannel.yml 

2、移除虚拟网卡

在所有主机上操作:

[root@k8s-master01 ~]# ifconfig cni0 down
[root@k8s-master01 ~]# ip link delete cni0
[root@k8s-master01 ~]# ifconfig flannel.1 down
[root@k8s-master01 ~]# ip link delete flannel.1

3、删除Flannel相关CNI配置文件

[root@k8s-master01 ~]# rm -rf /var/lib/cni/
[root@k8s-master01 ~]# rm -rf /etc/cni/net.d/*

4、重启kubelet服务

[root@k8s-master01 ~]# systemctl restart kubelet
[root@k8s-master01 ~]# kubectl get nodes
NAME           STATUS     ROLES                  AGE     VERSION
k8s-master01   NotReady   control-plane,master   3h56m   v1.23.0
k8s-master02   NotReady   control-plane,master   3h55m   v1.23.0
k8s-master03   NotReady   control-plane,master   3h55m   v1.23.0
k8s-node01     NotReady   <none>                 3h52m   v1.23.0
posted @ 2022-05-23 17:56  RidingWind  阅读(1161)  评论(0编辑  收藏  举报