K8s二进制部署单节点 etcd集群，flannel网络配置 ——锥刺股

K8s 二进制部署单节点 master    ——锥刺股 

 

k8s集群搭建：

  • etcd集群
  • flannel网络插件
  • 搭建master组件
  • 搭建node组件

 

1、部署etcd集群

2、Flannel 网络配置

 

etcd作为服务发现系统，有以下的特点:

  • 简单 安装配置简单，而且提供了HTTP API进行交互，使用也很简单
  • 安全: 支持SSL证书验证
  • 快速: 单实例支持每秒2k+读操作
  • 可靠: 采用raft算法实现分布式系统数据的可用性和一致性

 

etcd 默认使用2379 端口对外为客户端提供通讯，使用端口2380来进行服务器内部通讯。

etcd 再生产环境中一般推荐集群方式部署，由于etcd的leader选举机制，要求至少3台或以上奇数台。

 

准备签发证书环境：

?
1
2
3
4
5
6
7
CFSSL是CloudFlare 公司开源的一款PKI/TLS工具。CESSL 包含一个命令行工具和一个用于签名、验证和捆绑TLS证书的HTTP API服务。使用Go语言编写。
CFSSL使用配置文件生成证书，因此自签之前，需要生成它识别的json 格式的配置文件，CFSSL 提供了方便的命令行生成配置文件。
CFSSL用来为etcd提供TLS证书，它支持签三种类型的证书:
1、client证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如kube-apiserver 访问etcd;
2、server证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如etcd对外提供服务:
3、peer证书，相互之间连接时使用的证书，如etcd节点之间进行验证和通信。
这里全部都使用同一套证书认证。

　　

 

环境部署：3台都要做

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
systemctl stop firewalld
serenforce 0
 
hostnamectl set-hostname master1(node1、2)
sed -rn 's/.*swap.*/#&/p' /etc/fstab
swapoff -a
 
cat >> /etc/hosts << EOF
20.0.0.30 master1
20.0.0.40 node1
20.0.0.50 node2
EOF
 
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.beidge-nf-call-iptables = 1
EOF
 
sysctl  --system

　　

 

 

 

 

1、部署 etcd 集群：

 1）、master 节点部署：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
mkdir /opt/k8s
cd /opt/k8s
rz-E   把所需的软件配置穿进去
chmod +x*
mv etcd-cert.sh etcd-cert
cd etcd-cert/
vim etcd-cert.sh   进去把ip改一下
./etcd-cert.sh
cd /opt/k8s
rz-E  把etcd-v3.3.10版本传进去顺便解压
 
ls etcd-v3.3.10-linux-amd64
mkdir -p /opt/etcd/{cfg,bin,ssl}
cd etcd-v3.3.10-linux-amd64/
cp *.pem /opt/etcd/ssl/
cd /opt/k8s/
./etcd.sh etcd01 20.0.0.30 etcd02=https://20.0.0.40:2380,etcd03=https://20.0.0.50:2380
//进入卡住状态等待其他节点加入，这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都已启动，可忽略这个情况
/另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd
 
把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd 20.0.0.40:/opt
scp -r /opt/etcd 20.0.0.50:/opt
 
把etcd服务管理文件拷贝到另外两个etcd集群节点
scp /usr/lib/systemd/system/etcd.service root@20.0.0.40:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@20.0.0.50:/usr/lib/systemd/system/

 

 

 

 

 

 

 

 

 

 

2）、node1、2节点修改：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
======在node1节点修改======
cd /opt/etcd/cfg/
vim etcd
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://20.0.0.40:2380"
ETCD_LISTEN_CLIENT_URLS="https://20.0.0.40:2379"
 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://20.0.0.40:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://20.0.0.30:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://20.0.0.30:2380,etcd02=https://20.0.0.40:2380,etcd03=https://20.0.0.50:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
 
 
======在node2节点修改======
cd /opt/etcd/cfg/
vim etcd
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://20.0.0.50:2380"
ETCD_LISTEN_CLIENT_URLS="https://20.0.0.50:2379"
 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://20.0.0.50:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://20.0.0.30:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://20.0.0.30:2380,etcd02=https://20.0.0.40:2380,etcd03=https://20.0.0.50:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
 
 
修改完都要重载然后再查看状态
systemctl daemon-reload
systemctl enable --now etcd.service
systemctl status etcd.service

 

 

 

 

　　

 

 

3）、在master1节点上进行启动：

 首先要在master节点和node1、2节点都启动etcd

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
======在master1 节点上操作======
ln -s /opt/etcd/bin/etcd* /usr/1oca1/bin
进去ssl目录
cd /opt/etcd/ssl
//检查etcd群集状态
etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://20.0.0.30:2379,https://20.0.0.40:2379,https://20.0.0.50:2379" \
cluster-health
 
-----------------------------------------------
--cert-file:识别HTTPS端使用sSL证书文件
--key-file: 使用此SSL密钥文件标识HTTPS客户端
-ca-file:使用此CA证书验证启用https的服务器的证书
--endpoints:集群中以逗号分隔的机器地址列表
cluster-health:检查etcd集群的运行状况
-----------------------------------------------
 
//切换到etcd3版本查看集群节点状态和成员列表
export ETCDCTL_API=3
#v2和v3命令略有不同，etcd2 和etcd3也是不兼容的，默认是v2版本
etcdctl --write-out=table endpoint status
etcdctl --write-out-table member list
export ETCDCTL_API=2
#再切回v2版本

 

 

?
1
2
3
4
5
6
7
8
9
10
11
12
所有node节点部署docker引擎
 
yum install -y yum-utils device-mapper-persistent-data lvm2
 
#设置阿里云镜像源
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  
#安装 Docker-CE并设置为开机自动启动
yum install -y docker-ce
  
systemctl start docker.service
systemctl enable docker.service

　　

 

 2、flannel网络配置：

 

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
===========flannel网络配置=============
===K8S中Pod网络通信: ===
●Pod内容器与容器之间的通信
在同一个Pod内的容器(Pod内的容器是不会跨宿主机的)共享同一个网络命令空间，相当于它们在网一台机器上一样，可以用
localhost地址访间彼此的端口
 
●同一个Node内Pod之间的通信
每个Pod 都有一个真实的全局IP地址，同一个Node 内的不同Pod之间可以直接采用对方Pod的IP 地址进行通信，Pod1 与
Pod2都是通过veth连接到同一个docker0 网桥，网段相同，所以它们之间可以直接通信
 
●不同Node上Pod之间的通信
Pod地址与docker0 在同一网段，dockor0 网段与宿主机网卡是两个不同的网段，且不同Nodo之间的通信贝能通过宿主机的物理网卡进行
 
要想实现不同Node 上Pod之间的通信，就必须想办法通过主机的物理网卡IP地址进行寻址和通信。
因此要满足两个条件:
Pod 的IP不能冲突:
将Pod的IP和所在的Node的IP关联起来，通过这个关联让不同Node上Pod之间直接通过内网IP地址通信。
 
===Overlay Network:===
叠加网络，在二层或者三层基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路隧道连接起来(类似于VPN)
 
===VXLAN:===
将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址
 
===Flannel:===
Flannel的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址
 
Flannel是Overlay 网络的一种，也是将TCP 源数据包封装在另一种网络 包里而进行路由转发和通信，目前己经支持UDP、VXLAN、AwS VPC等数据转发方式
 
===ETCD之Flannel 提供说明:===
存储管理Flanne1可分配的IP地址段资源
监控ETCD中每个Pod 的实际地址，并在内存中建立维护Pod 节点路由表
?
1
2
3
4
5
6
7
8
9
10
<br>Flannel工作原理:
node1上的pod1 要和node2上的pod1进行通信
 
1.数据从node1上的Pod1源容器中发出，经由所在主机的docker0 虚拟网卡转发到flannel0虚拟网卡；
 
2.再由flanneld把pod ip封装到udp中（里面封装的是源pod IP和目的pod IP);
 
3.根据在etcd保存的路由表信息，通过物理网卡发送给目的node2的flanneld，来进行解封装暴露出udp里的pod IP;
 
4.最后根据目的pod IP经flannel0虚拟网卡和docker0虚拟网卡转发到目的pod中，最后完成通信

 

　　

 

1）、在master1节点上操作添加flannel 网络配置：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
======在master1 节点上操作======
//添加flannel 网络配置信息，写入分配的子网段到etcd 中，供flannel使用
cd /opt/etcd/ss1
etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://20.0.0.30:2379,https://20.0.0.40:2379,https://20.0.0.50:2379" \
set /coreos.com/network/config '{"Network": "172.17.0.0/16"，"Backend": {"Type": "vxlan"}}'
 
//查看写入的信息
etcdctl \
--ca-file=ca.pem \
--cert-file-server.pem \
--key-file=server-key.pem \
--endpoints="https://20.0.0.30:2379,https://20.0.0.40:2379,https://20.0.0.50:2379" \
get /coreos.com/network/config
 
---------------------------------------------------------
set /coreos.com/network/confiq添加一条网络配置记求，这个配置将用于flannel分配给每个docker的虛拟IP地址段
get <ckey>
got /coreos.com/octwork/config获取网络配置记录，后面不用再跟参数了
Network:用于指定Flane1地址池
Backend:用于指定数据包以什么方式转发，默认为udp模式，Backend为vxlan比起预设的udp性能相对好一些
--------------------------------------------------------

 

　　

　　

 

2）、在所有node节点上操作：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
======在所有node节点上操作======
//上传flannel.sh 和flanne1-v0.10.0-1inux-amd64.tar.gz 到/opt 目录中，解压flannel 压缩包
cd /opt
tar zxvf flannel-v0.10.0-1inux-amd64.tar.gz
flanneld
#flanneld为主要的执行文件
mk-docker-opts.sh
#mk-docker-opts . sh脚本用于生成Docker启动参数
README.md
 
//创建kubernetes工作目录
mkdir -p /opt/kubernetes/{cfg,bin,ss1}
cd /opt
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
 
//启动flanneld服务，开启flanne1网络功能
cd /opt
chmod +x flannel.sh
./flannel.sh https://20.0.0.30:2379,https://20.0.0.40:2379,https://20.0.0.50:2379
 
//flanne1启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env，包含了docker要使用flannel通讯的相关参数
cat /run/flannel/subnet.env
DOCKER_OPT_BIP="--bip=172.17.26.1/24"
DOCKER_OPT_IPMASQ="--ip-masq= false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=172.17.26.1/24 --ip-masq=false --mtu=1450"
------------------------------------------------
--bi: 指定docker 启动时的子网
--ip-masq: 设置ipmasq=false 关闭snat 伪装策略
--mtu=1450:mtu要留出50字节给外层的vxlan封包的额外开销使用
Flannel启动过程解析:
1、从etcd中获取network的配置信息
2、划分subnet， 并在etcd中进行注册
3、将子网信息记录到/run/flannel/subnet.env中
------------------------------------------------
 
//修改docker服务管理文件，配置docker连接flannel
vim /lib/systemd/system/docker.service
[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues stillt
# exists and systemd currently dges not support the cgroup feature set requi red
# for containers run by docker
EnvironmentFile=/run/flannel/subnet.env
#添加
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
#修改
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
 
//重启docker服务
systemctl daemon-reload
systemctl restart docker
 
ifconfig #查看flannel网络
 
测试ping通对方docker0网卡 证明flannel起到路由作用
ping 172.17.38.1 
 
docker run -it centos:7 /bin/bash     #node1和node2都运行该命令
  
yum install net-tools -y       #node1和node2都运行该命令
 
ifconfig //再次测试ping通两个node中的centos:7容器

 

 

 

 

 

 

 

 

 总结：

flannel的工作流程

数据从源node节点的pod发出后，会经由dockero网卡转发到flannel0网卡，
在flanel0网卡有个flanneld服务会把这个数据包封装到udp报文中，然后根据自己在etcd中维护路由表
通过物理网卡转发到目标node节点，数据包到达目标node节点后会被flanneld服务解封装，
然后经由flannel0网卡和dockero网卡转发到目标pod的容器，最后完成通信

　　

posted @   隐姓埋名4869  阅读(577)  评论(0)  编辑  收藏  举报
编辑推荐：
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列：如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· Manus的开源复刻OpenManus初探
· 写一个简单的SQL生成工具
· AI 智能体引爆开源社区「GitHub 热点速览」
· C#/.NET/.NET Core技术前沿周刊 | 第 29 期（2025年3.1-3.9）
点击右上角即可分享
微信分享提示