flannel 切换calico网络
一、下载配置calico yaml文件
curl https://docs.projectcalico.org/manifests/calico-etcd.yaml -o calico.yaml
二、修改文件
1、修改etcd的证书
[root@k8s-master ~]# cat /opt/etcd/ssl/ca.pem |base64 -w 0 [root@k8s-master ~]# cat /opt/etcd/ssl/server.pem |base64 -w 0 [root@k8s-master ~]# cat /opt/etcd/ssl/server-key.pem |base64 -w 0 将对应的都添进去，将注释去掉: # etcd-key: null 将对应ssl下的证书转换成base64编码放进来，并去掉注释 # etcd-cert: null # etcd-ca: null
2、要读取secret落地到容器中位置,直接将注释去掉就可以了
etcd_ca: "/calico-secrets/etcd-ca" etcd_cert: "/calico-secrets/etcd-cert" etcd_key: "/calico-secrets/etcd-key"
3、连接etcd的字符串，这与k8s连接API的字符串是一样的
这个是在[root@k8s-master1 ~]# cat /opt/kubernetes/cfg/kube-apiserver.conf 这个目录下，因为每个集群都是自己部署的，位置可能不一样
etcd_endpoints: "https://192.168.124.61:2379,https://192.168.124.62:2379,https://192.168.124.63:2379"
将这个证书放进放进calico配置中
4、根据实际网络规划修改Pod CIDR
默认的地址，需要改成自己的 - name: CALICO_IPV4POOL_CIDR value: "192.168.0.0/16"
[root@k8s-master ~]# cat /opt/kubernetes/cfg/kube-controller-manager.conf --cluster-cidr=10.244.0.0/16 \ 在配置中改成这个 - name: CALICO_IPV4POOL_CIDR value: "10.244.0.0/16"
5、选择工作模式
IPIP # Enable IPIP - name: CALICO_IPV4POOL_IPIP value: "Always"
这个变量问你要不要开启IPIP，因为有两种模式，第一种就是IPIP,第二种就是BGP
其实它应用最多就是BGP，将这个Always改成Never，就是将它关闭的意思
二、删除flannel网络
1、删除yaml文件
[root@k8s-master k8s]# kubectl delete -f kube-flannel.yaml
2、删除路由
每个节点都要删除路由表和网桥，这是之前部署flannel留下的，也是避免和calico冲突。
[root@k8s-node1 ~]# ip route #查看路由 [root@k8s-node1 ~]# ip link delete cni0 [root@k8s-node1 ~]# ip link delete flannel.1 [root@k8s-node1 ~]# ip route delete 10.244.0.0/24 via 192.168.124.61 dev eth0 [root@k8s-node1 ~]# ip route delete 10.244.1.0/24 via 192.168.124.61 dev eth0
三、部署calico网络
[root@k8s-master calico]# kubectl create -f calico.yaml [root@master metrics_server]# kubectl get pod -o wide -n kube-system NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES calico-kube-controllers-d58dbc6bd-nczw8 1/1 Running 0 16h 192.168.124.61 k8s-master1 <none> <none> calico-node-fqdvd 1/1 Running 0 16h 192.168.124.63 k8s-node2 <none> <none> calico-node-kzwwf 1/1 Running 0 16h 192.168.124.61 k8s-master1 <none> <none> calico-node-s5cf8 1/1 Running 0 16h 192.168.124.62 k8s-node1 <none> <none> coredns-5ffbfd976d-9gb8c 1/1 Running 0 55m 10.244.36.64 k8s-node1 <none> <none> metrics-server-6dd556ccd4-57zdw 1/1 Running 0 54m 10.244.36.65 k8s-node1 <none> <none>
目前为止去查看网络，会发现不到calico的路由表，因为目前的pod没有使用当前的calico的网络，需要重建才会应用到，所以这也是会受到一些影响的，这个需要提前做好准备
重建这些pod之后，网络就会根据calico的规则生成路由表，你会发现之前的pod，使用flannel部署的pod已经无法互通了，所以切换网络也是一个比较大的事情，需要注意安排时间去做这件事
测试一下：
[root@master ~]# kubectl create deployment web --image=nginx [root@master ~]# kubectl scale deployment web --replicas=3 [root@master ~]# ip route default via 192.168.124.1 dev ens33 proto static metric 100 10.244.36.64/26 via 192.168.124.62 dev ens33 proto bird 10.244.169.128/26 via 192.168.124.63 dev ens33 proto bird blackhole 10.244.219.64/26 proto bird 172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 192.168.124.0/24 dev ens33 proto kernel scope link src 192.168.124.61 metric 100
四、calico 管理工具
curl -O -L https://github.com/projectcalico/calicoctl/releases/download/v3.16.4/calicoctl mv calicoctl /usr/local/bin/ chmod +x /usr/local/bin/calicoctl
安装好这个管理工具之后就可以查看当前节点BGP的节点状态
[root@master ~]# calicoctl node status Calico process is running. IPv4 BGP status +----------------+-------------------+-------+----------+-------------+ | PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO | +----------------+-------------------+-------+----------+-------------+ | 192.168.124.62 | node-to-node mesh | up | 01:35:46 | Established | | 192.168.124.63 | node-to-node mesh | up | 01:35:46 | Established | +----------------+-------------------+-------+----------+-------------+ IPv6 BGP status No IPv6 peers found.
这个工具主要也是往etcd里去操作，主要再etcd去获得，这个表只不过是帮你从etcd中拿出来格式化输出
可以通过这个命令可以看出，进行长链接输出出来
[root@master ~]# netstat -anpt |grep bird tcp 0 0 0.0.0.0:179 0.0.0.0:* LISTEN 79898/bird tcp 0 0 192.168.124.61:179 192.168.124.63:50255 ESTABLISHED 79898/bird tcp 0 0 192.168.124.61:179 192.168.124.62:60507 ESTABLISHED 79898/bird
如果想使用calicoctl get node,就需要指定配置文件了，默认在/etc/calico/calicoctl.cfg下
主要修改etcd的路径，还有它连接的证书，它主要操作etcd
mkdir /etc/calico vim /etc/calico/calicoctl.cfg apiVersion: projectcalico.org/v3 kind: CalicoAPIConfig metadata: spec: datastoreType: "etcdv3" etcdEndpoints: "https://192.168.124.61:2379,https://192.168.124.62:2379,https://192.168.124.63:2379" etcdKeyFile: "/opt/etcd/ssl/server-key.pem" etcdCertFile: "/opt/etcd/ssl/server.pem" etcdCACertFile: "/opt/etcd/ssl/ca.pem"
这样的话就能使用calicocatl get node了，这样的话就是在etcd中去拿的数据了
[root@master ~]# calicoctl get nodes NAME k8s-node1 k8s-node2 master
查看 IPAM的IP地址池：
[root@master ~]# calicoctl get ippool -o wide NAME CIDR NAT IPIPMODE VXLANMODE DISABLED SELECTOR default-ipv4-ippool 10.244.0.0/16 true Never Never false all()
Route Reflector 模式（RR）（路由反射）
https://docs.projectcalico.org/master/networking/bgp
1、关闭 node-to-node BGP网格
添加 default BGP配置，调整 nodeToNodeMeshEnabled和asNumber：
[root@k8s-master1 calico]# cat bgp.yaml apiVersion: projectcalico.org/v3 kind: BGPConfiguration metadata: name: default spec: logSeverityScreen: Info nodeToNodeMeshEnabled: false asNumber: 63400
直接应用一下，当我们禁用node-to-node mesh的时候，网络立马就会断，所以断的话要提前做好影响的范围，也就是切换这个网络是需要断网的，使用node-to-node BGP这种也是建议100个节点以下，当超过100台节点一定要使用路由反射RR模式
[root@k8s-master1 calico]# calicoctl apply -f bgp.yaml Successfully applied 1 'BGPConfiguration' resource(s)
查看bgp网络配置情况，false为关闭
[root@k8s-master1 calico]# calicoctl get bgpconfig NAME LOGSEVERITY MESHENABLED ASNUMBER default Info false 63400
去查看pod的网络测试已经断开了，这里是因为我们使用caclico的配置禁用了node-to-node mesh了
[root@k8s-master1 calico]# ping 10.244.245.2 PING 10.244.245.2 (10.244.245.2) 56(84) bytes of data
ASN号可以通过获取 # calicoctl get nodes --output=wide
这里有个编号，ASN64300，一个编号就是一个自治系统
[root@k8s-master1 calico]# calicoctl get nodes --output=wide NAME ASN IPV4 IPV6 k8s-master1 (63400) 10.4.7.11/24 k8s-node1 (63400) 10.4.7.12/24 k8s-node2 (63400) 10.4.7.21/24
2、配置指定节点充当路由反射器
为方便让BGPPeer轻松选择节点，通过标签选择器匹配，也就是可以去调用k8s里面的标签进行关联，我们可以给哪个节点作为路由发射器打个标签
给路由器反射器节点打标签，我这将node1打上标签
[root@k8s-master1 calico]# kubectl label node k8s-node1 route-reflector=true
查看node BJP的节点状态，因为禁用了网格，所以这里都关闭了，所以也就不通了。
[root@k8s-master1 calico]# calicoctl node status Calico process is running. IPv4 BGP status No IPv4 peers found. IPv6 BGP status No IPv6 peers found.
然后配置路由器反射器节点routeReflectorClusterID，增加一个集群节点的ID
下面的可以通过-o yaml输出出来
[root@k8s-master1 calico]# calicoctl get node k8s-node2 -o yaml > node.yaml apiVersion: projectcalico.org/v3 kind: Node metadata: annotations: projectcalico.org/kube-labels: '{"beta.kubernetes.io/arch":"amd64","beta.kubernetes.io/os":"linux","kubernetes.io/arch":"amd64","kubernetes.io/hostname":"k8s-node2","kubernetes.io/os":"linux"}' creationTimestamp: "2020-11-05T01:34:20Z" labels: beta.kubernetes.io/arch: amd64 beta.kubernetes.io/os: linux kubernetes.io/arch: amd64 kubernetes.io/hostname: k8s-node2 kubernetes.io/os: linux name: k8s-node2 resourceVersion: "208633" uid: 82582f30-602c-452c-b3ed-6e77d72200d7 spec: bgp: ipv4Address: 192.168.124.63/24 routeReflectorClusterID: 244.0.0.1 orchRefs: - nodeName: k8s-node2 orchestrator: k8s status: {}
routeReflectorClusterID: 244.0.0.1 唯一网络
执行：
[root@k8s-master1 calico]# calicoctl apply -f node.yaml
将其他的节点去连接这个k8s-node1打标签的路由发射器
[root@k8s-master1 calico]# cat bgp1.yaml apiVersion: projectcalico.org/v3 kind: BGPPeer metadata: name: peer-with-route-reflectors spec: nodeSelector: all() #所有的节点 peerSelector: route-reflector == 'true'
查看节点的BGP规则与连接状态，这样的话就显示一个路由反射器的节点
[root@k8s-master1 calico]# calicoctl apply -f bgp1.yaml Successfully applied 1 'BGPPeer' resource(s) [root@k8s-master1 calico]# calicoctl get bgppeer NAME PEERIP NODE ASN peer-with-route-reflectors all() 0 [root@k8s-master1 calico]# calicoctl node status Calico process is running. IPv4 BGP status +--------------+---------------+-------+----------+-------------+ | PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO | +--------------+---------------+-------+----------+-------------+ | 192.168.124.63 | node specific | up | 08:22:22 | Established | +--------------+---------------+-------+----------+-------------+ IPv6 BGP status No IPv6 peers found.
测试与容器连接
添加多个路由反射器
现在进行对路由反射器添加多个，100个节点以内建议2-3个路由反射器
1、进行对集群节点打标签
[root@k8s-master1 calico]# kubectl label node k8s-node2 route-reflector=true node/k8s-node2 labeled
2、对k8s-node2添加然后配置路由器反射器节点
[root@k8s-master1 calico]# calicoctl get node k8s-node2 -o yaml > node2.yaml [root@k8s-master1 calico]# vim node2.yaml 增加 routeReflectorClusterID: 244.0.0.1 [root@k8s-master1 calico]# calicoctl apply -f node2.yaml
3、查看节点状态
[root@k8s-master1 calico]# calicoctl node status Calico process is running. IPv4 BGP status +--------------+---------------+-------+----------+-------------+ | PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO | +--------------+---------------+-------+----------+-------------+ | 192.168.124.62 | node specific | up | 08:22:22 | Established | | 192.168.124.63 | node specific | up | 08:44:44 | Established | +--------------+---------------+-------+----------+-------------+
4、试网络连通性
IPIP模式
ipip模式与flannel的vxlan模式类似，这个也是对数据包的一个封装
Flannel host-gw 模式最主要的限制，就是要求集群宿主机之间是二层连通的。而这个限制对于 Calico 来说，也同样存在，也是不能跨vlan的，主要局限就是数据包主要封装的是容器，源IP和目的IP，因为它们工作都是使用的二层，所以二层它不会考虑容器之间进行数据包转发的，但如果添加路由表，将目的的IP通过静态路由的方式也能实现，不同vlan的数据的通信，不过这种方式目前没有测试。
另外还有一个弊端，会发现calico的路由表比flannel的多一些，因为它里面还要加一些传入过来的到设备的路由表信息，就是每个pod都加一个路由表，所以它的路由表的量也比flannel大不少。
1、修改为IPIP模式：
[root@master ~]# calicoctl get ippool -o yaml > ipip.yaml [root@master ~]# vi ipip.yaml apiVersion: projectcalico.org/v3 kind: IPPool metadata: name: default-ipv4-ippool spec: blockSize: 26 cidr: 10.244.0.0/16 ipipMode: Always natOutgoing: true [root@master ~]# calicoctl apply -f ipip.yaml
2、创建好之后查看详细信息，已经开启ippool
[root@k8s-master ~]# calicoctl get ippool -o wide NAME CIDR NAT IPIPMODE VXLANMODE DISABLED SELECTOR default-ipv4-ippool 10.244.0.0/16 true Always Never false all()
3、查看网络设备会增加一个tunl0,增加了一个隧道的网卡
tunl0@NONE: <NOARP,UP,LOWER_UP> mtu 1440 qdisc noqueue state UNKNOWN group default qlen 1000 link/ipip 0.0.0.0 brd 0.0.0.0 inet 10.244.113.131/32 brd 10.244.113.131 scope global tunl0 valid_lft forever preferred_lft forever
4、测试网络
CNI 网络方案优缺点及最终选择
先考虑几个问题：
需要细粒度网络访问控制？这个flannel是不支持的，calico支持，所以做多租户网络方面的控制ACL,那么要选择calico
追求网络性能？这两个方案无疑是flannel和calico的路由方案是最高的，也就是flannel的host-gw和calico的BGP。
服务器之前是否可以跑BGP协议？很多的公有云是不支持跑BGP协议的，那么使用calico的BGP模式自然是不行的。
集群规模多大？如果规模不大，100节点以下维护起来比较方面之间可以使用flannel就可以
是否有维护能力？calico的路由表很多，而且走BGP协议，一旦出现问题排查起来也比较困难，上百台的，路由表去排查也是很麻烦，这个具体的需求也是跟自己饿的情况而定。
