二进制部署k8s集群v1.23.9版本-11-安装flannel网络插件

11.1、集群规划

主机名	角色	IP
hfqg1-201	flannel	192.168.1.201
hfqg1-202	flannel	192.168.1.202
hfqg1-203	flannel	192.168.1.203

11.2、网络插件介绍

k8s设计了网络模型，但却将它的实现交给了网络插件，CNI网络插件最主要的功能就是实现POD资源能够跨宿主机进行通信。
常见的CNI网络插件：

• Flannel
• Calico
• Canal
• Contiv
• OpenContrail
• NSX-T
• Kube-router

flannel的三种网络模型

• host-gw模型：所有node ip必须在同一个物理网关设备下才能使用 它的原理就是：给宿主机添加一个静态路由，指明到达pod之前要经过的宿主机。速度最快
• Vxlan模型：适用不同网关，虚拟出flannel.1网络设备，打通一个flannel网络隧道
• 直接路由模型：当node不在同一个物理网关下，走vxaln模型,在同一个网关下，走host-gw模型。

11.3、安装flannel

192.168.1.201操作
下载二进制包
cd /opt/src
wget https://github.com/coreos/flannel/releases/download/v0.17.0/flannel-v0.17.0-linux-amd64.tar.gz
解压并做软链接
tar xf flannel-v0.17.0-linux-amd64.tar.gz -C /opt/flannel-v0.17.0/
ln -s /opt/flannel-v0.17.0 /opt/flannel
cd /opt/flannel
mkdir cert
拷贝证书到cert目录
cp /opt/etcd/certs/etcd*.pem /opt/flannel/cert/
cp /opt/kubernetes/server/bin/certs/ca.pem /opt/flannel/cert/

创建启动脚本

[root@hfqg1-201 flannel]# cat /opt/flannel/flanneld.sh
#!/bin/bash
ETCDCTL_API=2 ./flanneld
--public-ip=192.168.1.201
--etcd-endpoints=https://192.168.1.201:2379,https://192.168.1.202:2379,https://192.168.1.203:2379
--etcd-keyfile=./cert/etcd-key.pem
--etcd-certfile=./cert/etcd.pem
--etcd-cafile=./cert/ca.pem
--iface=em1
--subnet-file=./subnet.env
--healthz-port=2401

创建配置文件

[root@hfqg1-201 flannel]# cat /opt/flannel/subnet.env
FLANNEL_NETWORK=172.1.0.0/16
FLANNEL_SUBNET=172.1.201.1/24
FLANNEL_MTU=1500
FLANNEL_IPMASQ=false

授权并创建日志目录
chmod +x flanneld.sh
mkdir -p /data/logs/flanneld

操作etcd，增加host-gw
这里是etcd集群所以在任意一台操作即可，此处是201服务器。
cd /opt/etcd/
目前flannel版本不能给 etcd 3 进行通信，需要开启etcd v2 API接口
创建flannel网络配置
ETCDCTL_API=2 ./etcdctl set /coreos.com/network/config '{"Network": "172.1.0.0/16", "Backend": {"Type": "host-gw"}}'
ETCDCTL_API=2 ./etcdctl ls /coreos.com/network/subnets

创建supervison配置

[root@hfqg1-201 etcd]# cat /etc/supervisord.d/flanneld.ini
[program:flanneld-1-201]
command=/opt/flannel/flanneld.sh ; the program (relative uses PATH, can take args)
numprocs=1 ; number of processes copies to start (def 1)
directory=/opt/flannel ; directory to cwd to before exec (def no cwd)
autostart=true ; start at supervisord start (default: true)
autorestart=true ; retstart at unexpected quit (default: true)
startsecs=30 ; number of secs prog must stay running (def. 1)
startretries=3 ; max # of serial start failures (default 3)
exitcodes=0,2 ; 'expected' exit codes for process (default 0,2)
stopsignal=QUIT ; signal used to kill process (default TERM)
stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10)
user=root ; setuid to this UNIX account to run the program
redirect_stderr=true ; redirect proc stderr to stdout (default false)
stdout_logfile=/data/logs/flanneld/flanneld.stdout.log ; stderr log path, NONE for none; default AUTO
stdout_logfile_maxbytes=64MB ; max # logfile bytes b4 rotation (default 50MB)
stdout_logfile_backups=4 ; # of stdout logfile backups (default 10)
stdout_capture_maxbytes=1MB ; number of bytes in 'capturemode' (default 0)
stdout_events_enabled=false

启动flannel服务
supervisorctl update
supervisorctl status

11.4、其它节点安装flannel

上传安装包和supervisord配置文件
192.168.1.201服务器操作
scp -r /opt/flannel-v0.17.0/ hfqg1-202:/opt/
scp -r /opt/flannel-v0.17.0/ hfqg1-203:/opt/
scp /etc/supervisord.d/flanneld.ini hfqg1-202:/etc/supervisord.d/
scp /etc/supervisord.d/flanneld.ini hfqg1-203:/etc/supervisord.d/

创建目录、软链接、修改主机名、启动脚本和subnet.env配置文件
202、203操作
mkdir -p /data/logs/flanneld
ln -s /opt/flannel-v0.17.0 /opt/flannel
202



203



启动flannel服务
202和203操作
supervisorctl update
supervisorctl status
测试网络
192.168.1.201操作
kubectl get pods -o wide

ping 172.1.202.2通了

ping 172.1.203.2通了

route -n

• flannel的host-gw模型其实就是在两台宿主机上添加了两条静态路由。
• flannel的host-gw模型的前提是所有的宿主机要处在同一个二层网络，说白了就是同一个网关。

11.5、snat规则优化

容器内部访问nginx时，发现nginx日志显示的是宿主机的IP，说明做了snat转换，这个没有意义。

安装iptables服务
192.168.1.201、202、203服务器操作
yum install iptables-services -y
systemctl start iptables
systemctl enable iptables
删除规则
iptables -t nat -D POSTROUTING -s 172.1.201.0/24 ! -o docker0 -j MASQUERADE
iptables -t nat -D POSTROUTING -s 172.1.202.0/24 ! -o docker0 -j MASQUERADE
iptables -t nat -D POSTROUTING -s 172.1.203.0/24 ! -o docker0 -j MASQUERADE
iptables -t filter -D INPUT -j REJECT --reject-with icmp-host-prohibited
iptables -t filter -D FORWARD -j REJECT --reject-with icmp-host-prohibited
新增一条规则
201
iptables -t nat -I POSTROUTING -s 172.1.201.0/24 ! -d 172.1.0.0/16 ! -o docker0 -j MASQUERADE
202
iptables -t nat -I POSTROUTING -s 172.1.202.0/24 ! -d 172.1.0.0/16 ! -o docker0 -j MASQUERADE
203
iptables -t nat -I POSTROUTING -s 172.1.203.0/24 ! -d 172.1.0.0/16 ! -o docker0 -j MASQUERADE
上面的意思是：来源是172.1.201.0/24，目标地址不是172.1.0.0/16，不是从docker0网络出网的才做snat转换。也就是容器与容器之间坦诚相见，不做转换了。
iptables-save |grep -i postrouting

保存规则
iptables-save >/etc/sysconfig/iptables
测试
kubectl get pods -o wide
kubectl exec -it nginx-dp-576b86b665-hlzlx /bin/bash -n default

curl 172.1.202.2

kubectl logs -f nginx-dp-576b86b665-drb27

至此，flannel网络插件安装完成。