K8s二进制部署单节点 etcd集群,flannel网络配置 ——锥刺股
K8s 二进制部署单节点 master ——锥刺股
k8s集群搭建:
- etcd集群
- flannel网络插件
- 搭建master组件
- 搭建node组件
1、部署etcd集群
2、Flannel 网络配置
etcd作为服务发现系统,有以下的特点:
- 简单 安装配置简单,而且提供了HTTP API进行交互,使用也很简单
- 安全: 支持SSL证书验证
- 快速: 单实例支持每秒2k+读操作
- 可靠: 采用raft算法实现分布式系统数据的可用性和一致性
etcd 默认使用2379 端口对外为客户端提供通讯,使用端口2380来进行服务器内部通讯。
etcd 再生产环境中一般推荐集群方式部署,由于etcd的leader选举机制,要求至少3台或以上奇数台。
准备签发证书环境:
CFSSL是CloudFlare 公司开源的一款PKI/TLS工具。CESSL 包含一个命令行工具和一个用于签名、验证和捆绑TLS证书的HTTP API服务。使用Go语言编写。 CFSSL使用配置文件生成证书,因此自签之前,需要生成它识别的json 格式的配置文件,CFSSL 提供了方便的命令行生成配置文件。 CFSSL用来为etcd提供TLS证书,它支持签三种类型的证书: 1、client证书,服务端连接客户端时携带的证书,用于客户端验证服务端身份,如kube-apiserver 访问etcd; 2、server证书,客户端连接服务端时携带的证书,用于服务端验证客户端身份,如etcd对外提供服务: 3、peer证书,相互之间连接时使用的证书,如etcd节点之间进行验证和通信。 这里全部都使用同一套证书认证。
环境部署:3台都要做
systemctl stop firewalld serenforce 0 hostnamectl set-hostname master1(node1、2) sed -rn 's/.*swap.*/#&/p' /etc/fstab swapoff -a cat >> /etc/hosts << EOF 20.0.0.30 master1 20.0.0.40 node1 20.0.0.50 node2 EOF cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.beidge-nf-call-iptables = 1 EOF sysctl --system
1、部署 etcd 集群:
1)、master 节点部署:
mkdir /opt/k8s cd /opt/k8s rz-E 把所需的软件配置穿进去 chmod +x* mv etcd-cert.sh etcd-cert cd etcd-cert/ vim etcd-cert.sh 进去把ip改一下 ./etcd-cert.sh cd /opt/k8s rz-E 把etcd-v3.3.10版本传进去顺便解压 ls etcd-v3.3.10-linux-amd64 mkdir -p /opt/etcd/{cfg,bin,ssl} cd etcd-v3.3.10-linux-amd64/ cp *.pem /opt/etcd/ssl/ cd /opt/k8s/ ./etcd.sh etcd01 20.0.0.30 etcd02=https://20.0.0.40:2380,etcd03=https://20.0.0.50:2380 //进入卡住状态等待其他节点加入,这里需要三台etcd服务同时启动,如果只启动其中一台后,服务会卡在那里,直到集群中所有etcd节点都已启动,可忽略这个情况 /另外打开一个窗口查看etcd进程是否正常 ps -ef | grep etcd 把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点 scp -r /opt/etcd 20.0.0.40:/opt scp -r /opt/etcd 20.0.0.50:/opt 把etcd服务管理文件拷贝到另外两个etcd集群节点 scp /usr/lib/systemd/system/etcd.service root@20.0.0.40:/usr/lib/systemd/system/ scp /usr/lib/systemd/system/etcd.service root@20.0.0.50:/usr/lib/systemd/system/
2)、node1、2节点修改:
======在node1节点修改====== cd /opt/etcd/cfg/ vim etcd #[Member] ETCD_NAME="etcd02" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://20.0.0.40:2380" ETCD_LISTEN_CLIENT_URLS="https://20.0.0.40:2379" #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://20.0.0.40:2380" ETCD_ADVERTISE_CLIENT_URLS="https://20.0.0.30:2379" ETCD_INITIAL_CLUSTER="etcd01=https://20.0.0.30:2380,etcd02=https://20.0.0.40:2380,etcd03=https://20.0.0.50:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new" ======在node2节点修改====== cd /opt/etcd/cfg/ vim etcd #[Member] ETCD_NAME="etcd03" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://20.0.0.50:2380" ETCD_LISTEN_CLIENT_URLS="https://20.0.0.50:2379" #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://20.0.0.50:2380" ETCD_ADVERTISE_CLIENT_URLS="https://20.0.0.30:2379" ETCD_INITIAL_CLUSTER="etcd01=https://20.0.0.30:2380,etcd02=https://20.0.0.40:2380,etcd03=https://20.0.0.50:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new" 修改完都要重载然后再查看状态 systemctl daemon-reload systemctl enable --now etcd.service systemctl status etcd.service
3)、在master1节点上进行启动:
首先要在master节点和node1、2节点都启动etcd
======在master1 节点上操作====== ln -s /opt/etcd/bin/etcd* /usr/1oca1/bin 进去ssl目录 cd /opt/etcd/ssl //检查etcd群集状态 etcdctl \ --ca-file=ca.pem \ --cert-file=server.pem \ --key-file=server-key.pem \ --endpoints="https://20.0.0.30:2379,https://20.0.0.40:2379,https://20.0.0.50:2379" \ cluster-health ----------------------------------------------- --cert-file:识别HTTPS端使用sSL证书文件 --key-file: 使用此SSL密钥文件标识HTTPS客户端 -ca-file:使用此CA证书验证启用https的服务器的证书 --endpoints:集群中以逗号分隔的机器地址列表 cluster-health:检查etcd集群的运行状况 ----------------------------------------------- //切换到etcd3版本查看集群节点状态和成员列表 export ETCDCTL_API=3 #v2和v3命令略有不同,etcd2 和etcd3也是不兼容的,默认是v2版本 etcdctl --write-out=table endpoint status etcdctl --write-out-table member list export ETCDCTL_API=2 #再切回v2版本
所有node节点部署docker引擎 yum install -y yum-utils device-mapper-persistent-data lvm2 #设置阿里云镜像源 yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo #安装 Docker-CE并设置为开机自动启动 yum install -y docker-ce systemctl start docker.service systemctl enable docker.service
2、flannel网络配置:
===========flannel网络配置============= ===K8S中Pod网络通信: === ●Pod内容器与容器之间的通信 在同一个Pod内的容器(Pod内的容器是不会跨宿主机的)共享同一个网络命令空间,相当于它们在网一台机器上一样,可以用 localhost地址访间彼此的端口 ●同一个Node内Pod之间的通信 每个Pod 都有一个真实的全局IP地址,同一个Node 内的不同Pod之间可以直接采用对方Pod的IP 地址进行通信,Pod1 与 Pod2都是通过veth连接到同一个docker0 网桥,网段相同,所以它们之间可以直接通信 ●不同Node上Pod之间的通信 Pod地址与docker0 在同一网段,dockor0 网段与宿主机网卡是两个不同的网段,且不同Nodo之间的通信贝能通过宿主机的物理网卡进行 要想实现不同Node 上Pod之间的通信,就必须想办法通过主机的物理网卡IP地址进行寻址和通信。 因此要满足两个条件: Pod 的IP不能冲突: 将Pod的IP和所在的Node的IP关联起来,通过这个关联让不同Node上Pod之间直接通过内网IP地址通信。 ===Overlay Network:=== 叠加网络,在二层或者三层基础网络上叠加的一种虚拟网络技术模式,该网络中的主机通过虚拟链路隧道连接起来(类似于VPN) ===VXLAN:=== 将源数据包封装到UDP中,并使用基础网络的IP/MAC作为外层报文头进行封装,然后在以太网上传输,到达目的地后由隧道端点解封装并将数据发送给目标地址 ===Flannel:=== Flannel的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址 Flannel是Overlay 网络的一种,也是将TCP 源数据包封装在另一种网络 包里而进行路由转发和通信,目前己经支持UDP、VXLAN、AwS VPC等数据转发方式 ===ETCD之Flannel 提供说明:=== 存储管理Flanne1可分配的IP地址段资源 监控ETCD中每个Pod 的实际地址,并在内存中建立维护Pod 节点路由表
![](https://img2020.cnblogs.com/blog/2387773/202110/2387773-20211027223427269-1008445779.png)
Flannel工作原理: node1上的pod1 要和node2上的pod1进行通信 1.数据从node1上的Pod1源容器中发出,经由所在主机的docker0 虚拟网卡转发到flannel0虚拟网卡; 2.再由flanneld把pod ip封装到udp中(里面封装的是源pod IP和目的pod IP); 3.根据在etcd保存的路由表信息,通过物理网卡发送给目的node2的flanneld,来进行解封装暴露出udp里的pod IP; 4.最后根据目的pod IP经flannel0虚拟网卡和docker0虚拟网卡转发到目的pod中,最后完成通信
1)、在master1节点上操作添加flannel 网络配置:
======在master1 节点上操作====== //添加flannel 网络配置信息,写入分配的子网段到etcd 中,供flannel使用 cd /opt/etcd/ss1 etcdctl \ --ca-file=ca.pem \ --cert-file=server.pem \ --key-file=server-key.pem \ --endpoints="https://20.0.0.30:2379,https://20.0.0.40:2379,https://20.0.0.50:2379" \ set /coreos.com/network/config '{"Network": "172.17.0.0/16","Backend": {"Type": "vxlan"}}' //查看写入的信息 etcdctl \ --ca-file=ca.pem \ --cert-file-server.pem \ --key-file=server-key.pem \ --endpoints="https://20.0.0.30:2379,https://20.0.0.40:2379,https://20.0.0.50:2379" \ get /coreos.com/network/config --------------------------------------------------------- set /coreos.com/network/confiq添加一条网络配置记求,这个配置将用于flannel分配给每个docker的虛拟IP地址段 get <ckey> got /coreos.com/octwork/config获取网络配置记录,后面不用再跟参数了 Network:用于指定Flane1地址池 Backend:用于指定数据包以什么方式转发,默认为udp模式,Backend为vxlan比起预设的udp性能相对好一些 --------------------------------------------------------
2)、在所有node节点上操作:
======在所有node节点上操作====== //上传flannel.sh 和flanne1-v0.10.0-1inux-amd64.tar.gz 到/opt 目录中,解压flannel 压缩包 cd /opt tar zxvf flannel-v0.10.0-1inux-amd64.tar.gz flanneld #flanneld为主要的执行文件 mk-docker-opts.sh #mk-docker-opts . sh脚本用于生成Docker启动参数 README.md //创建kubernetes工作目录 mkdir -p /opt/kubernetes/{cfg,bin,ss1} cd /opt mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/ //启动flanneld服务,开启flanne1网络功能 cd /opt chmod +x flannel.sh ./flannel.sh https://20.0.0.30:2379,https://20.0.0.40:2379,https://20.0.0.50:2379 //flanne1启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env,包含了docker要使用flannel通讯的相关参数 cat /run/flannel/subnet.env DOCKER_OPT_BIP="--bip=172.17.26.1/24" DOCKER_OPT_IPMASQ="--ip-masq= false" DOCKER_OPT_MTU="--mtu=1450" DOCKER_NETWORK_OPTIONS=" --bip=172.17.26.1/24 --ip-masq=false --mtu=1450" ------------------------------------------------ --bi: 指定docker 启动时的子网 --ip-masq: 设置ipmasq=false 关闭snat 伪装策略 --mtu=1450:mtu要留出50字节给外层的vxlan封包的额外开销使用 Flannel启动过程解析: 1、从etcd中获取network的配置信息 2、划分subnet, 并在etcd中进行注册 3、将子网信息记录到/run/flannel/subnet.env中 ------------------------------------------------ //修改docker服务管理文件,配置docker连接flannel vim /lib/systemd/system/docker.service [Service] Type=notify # the default is not to use systemd for cgroups because the delegate issues stillt # exists and systemd currently dges not support the cgroup feature set requi red # for containers run by docker EnvironmentFile=/run/flannel/subnet.env #添加 ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock #修改 ExecReload=/bin/kill -s HUP $MAINPID TimeoutSec=0 RestartSec=2 Restart=always //重启docker服务 systemctl daemon-reload systemctl restart docker ifconfig #查看flannel网络 测试ping通对方docker0网卡 证明flannel起到路由作用 ping 172.17.38.1 docker run -it centos:7 /bin/bash #node1和node2都运行该命令 yum install net-tools -y #node1和node2都运行该命令 ifconfig //再次测试ping通两个node中的centos:7容器
总结:
flannel的工作流程
数据从源node节点的pod发出后,会经由dockero网卡转发到flannel0网卡,
在flanel0网卡有个flanneld服务会把这个数据包封装到udp报文中,然后根据自己在etcd中维护路由表
通过物理网卡转发到目标node节点,数据包到达目标node节点后会被flanneld服务解封装,
然后经由flannel0网卡和dockero网卡转发到目标pod的容器,最后完成通信
自古英雄多磨难