K8S 二进制单节点安装部署详解(1)
K8S二进制单节点安装部署详解(1)
一、常见的K8S 部署方式
1、MiniKube
Minikube是一个工具,可以在本地快速运行一个单节点模型K8S,仅用于学习、预览K8S的一些特性使用
部署地址:https://kubernetes.io/docs/setup/minikube
2、Kubeadmin
Kubeadmin 也是一个工具,提供Kubeadm init和kubeadm join,用于快速部署k8s集群,相对简单
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
3、二进制安装部署
生产首选,从官方下载发行版的二进制包,手动部署每个组件和自谦TLS 证书,组成k8s,新手推荐。
https://github.com/kubernetes/kubernetes/releases
Kubeadmi降低部署门槛,但屏蔽了很多细节,遇到问题很难排查。若果想更容易可控,推荐使用人间至包部署kubernetes集群,虽然手动部署麻烦点,期间可以学习很多工作原理,也利于后期维护
二、kubernetes 二进制部署
环境准备
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 关闭 selinux
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
# 关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
# 根据规划设置主机名
hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02
# 在master 添加 hosts
cat >> /etc/hosts << EOF
192.168.70.10 master01
192.168.70.15 node01
192.168.70.20 node02
EOF
# 将桥接的 IPV4 流量传递到 iptables 的链
cat> /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
#时间同步
yum install ntpdate -y
ntpdate time.windows.com
注:在master服务器及两台node节点服务器上执行以上操作,贴图只贴嘞master服务器的操作
三、部署 etcd 集群
- etcd是CoreOs团队于2013年6月发起的开源项目,它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft 协议作为一致性算法,etcd是go语言编写的。
1、etcd 作为服务发现系统,有以下的特点
简单∶ 安装配置简单,而且提供了HTTP API进行交互,使用也很简单
安全∶支持SSL证书验证
快速∶单实例支持每秒2k+读操作
可靠∶采用raft算法,实现分布式系统数据的可用性和一致性
- etcd 目前默认使用2379端口提供HTTP API服务, 2380端口和peer通信(这两个端口已经被IANA(互联网数字分配机构)官方预留给etcd)。即etcd默认使用2379端口对外为客户端提供通讯,使用端口2380来进行服务器间内部通讯。
- etcd 在生产环境中一般推荐集群方式部署。由于etcd 的leader选举机制,要求至少为3台或以上的奇数台。
2、准备签发证书环境
- CFSSL 是 cloudFlare 公司开源的一款 PKI/TLS 工具。 CFSSL 包含一个命令行工具和一个用于签名、验证和捆绑 TLs 证书的 HrrP API 服务。使用Go语言编写。
- CFSSL 使用配置文件生成证书,因此自签之前,需要生成它识别的 json 格式的配置文件,CFSSL 提供了方便的命令行生成配置文件。CFSSL用来为 etcd 提供 TLS 证书,
- 它支持签三种类型的证书∶
client 证书,服务端连接客户端时携带的证书,用于客户端验证服务端身份,如 kube-apiserver 访问 etcd;
server 证书,客户端连接服务端时携带的证书,用于服务端验证客户端身份,如 etcd 对外提供服务;
peer 证书,相互之间连接时使用的证书,如 etcd 节点之间进行验证和通信。
这里全部都使用同一套证书认证
3、 在master 节点上操作
//下载证书制作工具
wget https://pkg.cfss1.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl,org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
wget https://pkq.cfssl.org/R1.2/cfssl-certinfo_linux-amd64-O /usr/local/bin/cfssl-certinfo 或
curl -L https://pkg.cfssl.org/R1.2/cfss1 linux-amd64 -o /usr/local/bin/cfss1
curl-L https://pkg.cfssl.org/R1.2/cfsslisonlinux-amd64 -o /usr/local/bin/cfssljson
curl-L https://pkg,cfssl,org/R12Lcfssl-certinfo linux-amd64 -o /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl*
cfssl∶证书签发的工具命令
cfssljson∶将 cfssl 生成的证书(json格式)变为文件承载式证书
cfssl-certinfo∶验证证书的信息
cfssl-certinfo -cert <证书名称> 查看证书的信息
mkdir /opt/k8s #创建 k8s.工作目录
cd /opt/k8s/ #上传etcd-cert.sh 和etcd.sh和证书制作工具到/opt/k8s/ 目录中
chmod +x * # 授权
mv cfssl* /usr/local/bin/ 将证书授权工具(cfssl cfssl-certinfo cfssljson)移动到 /usr/local/bin目录中
vim etcd-cert.sh #该文件为自己编写shell脚本,需修改里面master和etcd服务器的IP地址
mkdir /opt/k8s/etcd-cert
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh 生成CA证书、etcd服务证书以及私钥
4、启动etcd服务
//etcd二进制包地址: https://github.com/etcd-io/etcd/releases
//上传etcd-v3.3.10-1inux-amd64.tar.gz 到/opt/k8s/ 目录中,解压etcd 压缩包
cd /opt/k8s/
tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
ls etcd-v3.3.10-linux-amd64
Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md
-----------------------------------------------------------
etcd就是etcd服务的启动命令,后面可跟各种启动参数
etcdct1主要为etcd服务提供了命令行操作
-----------------------------------------------------------
//创建用于存放etcd配置文件,命令文件,证书的目录
mkdir -p /opt/etcd/{cfg,bin,ssl}
mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/
cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/
./etcd.sh etcd01 192.168.70.10 etcd02=https://192.168.70.15:2380,etcd03=https://192.168.70.20:2380
//进入卡住状态等待其他节点加入,这里需要三台etcd服务同时启动,如果只启动其中一台后,服务会卡在那里,直到集群中所有etcd节点都已启动,可忽略这个情况
/另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd
//把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd/ @192.168.70.15:/opt/
scp -r /opt/etcd/ @192.168.70.20:/opt/
//把etcd服务管理文件拷贝到另外两个etcd集群节点
scp /usr/lib/systemd/system/etcd.service root@192.168.70.15:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.70.20:/usr/lib/systemd/system/
5、在 node节点上操作
======在node1节点修改======
cd /opt/etcd/cfg/
vim etcd
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.70.15:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.70.15:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.70.15:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.70.15:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.70.10:2380,etcd02=https://192.168.70.10:2380,etcd03=https://192.168.70.20:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
======在node2节点修改======
cd /opt/etcd/cfg/
vim etcd
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.70.20:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.70.20:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.70.20:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.70.20:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.70.10:2380,etcd02=https://192.168.70.15:2380,etcd03=https://192.168.70.20:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
6、启动etcd服务
-------------首先在master1节点上进行启动----------
cd /opt/k8s/
./etcd.sh etcd01 192.168.70.10 etcd02=https://192.168.70.15:2380,etcd03=https://192.168.70.20:2380
-------------接着在node1和node2节点分别进行启动======
systemctl daemon-reload
systemctl enable --now etcd.service
======在master1 节点上操作======
ln -s /opt/etcd/bin/etcd* /usr/local/bin
//检查etcd群集状态
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.70.10:2379,https://192.168.70.15:2379,https://192.168.70.20:2379" \
cluster-health
-----------------------------------------------
--cert-file:识别HTTPS端使用sSL证书文件
--key-file: 使用此SSL密钥文件标识HTTPS客户端
-ca-file:使用此CA证书验证启用https的服务器的证书
--endpoints:集群中以逗号分隔的机器地址列表
cluster-health:检查etcd集群的运行状况
-----------------------------------------------
//切换到etcd3版本查看集群节点状态和成员列表
export ETCDCTL_API=3
#v2和v3命令略有不同,etcd2 和etcd3也是不兼容的,默认是v2版本
etcdctl --write-out=table endpoint status
etcdctl --write-out=table member list
export ETCDCTL_API=2
#再切回v2版本
四、部署Docker引擎
node所有节点部署Docker引擎
yum install -y yum-utils device-mapper-persistent-data 1vm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce dqsker-ce-cli containerd.io
systemctl start docker.service
systemctl enable docker.service
五、flannel 网络配置
1、k8s中的网络通信
(1)Pod 内容器与容器之间的通信
- 在同一个 Pod 内的容器(Pod内的容器是不会跨宿主机的)共享同一个网络命令空间,相当于它们在同一台机器上一样,可以用 localhost 地址访问彼此的端口。
(2)同一个Node内Pod之间的通信
- 每个Pod 都有一个真实的全局 IP 地址,同一个 Node 内的不同 Pod 之间可以直接采用对方 Pod 的 IP 地址进行通信,Pod1 与 Pod2 都是通过Veth 连接到同一个 docker0 网桥,网段相同,所以它们之间可以直接通信。
(4)不同 Node 上Pod 之间的通信
- Pod 地址与 docker0 在同一网段,docker0 网段与宿主机网卡是两个不同的网段,且不同 Node 之间的通信只能通过宿主机的物理网卡进行。要想实现不同 Node 上 Pod 之间的通信,就必须想办法通过主机的物理网卡 IP 地址进行寻址和通信。因此要满足两个条件
- Pod 的 IP 不能冲突,将 Pod 的 IP 和所在的 Node的IP关联起来,通过这个关联让不同 Node 上 Pod 之间直接通过内网 IP 地址通信。
Overlay Network
- 叠加网络,在一层或者三层基础网络上叠加的一种虚拟网络技术模式, 该网络中的主机通过虚拟链路隧道连接起来(类似于VPN)。
VXLAN
- 将源数据包封装到UDP中,并使用基础网络的IP/MAC作为外层报文头进行封装,然后在以太网上传输,到达目的地后由隧道端点解封装并将数据发送给目标地址。
2、Flannel
- Flannel 是一款网络插件CNI其中有(flannel、calico等),Flannel 的功能是让集群中的不同节点主机创建的 Docker 容器都具有全集群唯一的虚拟 IP 地址,在K8s中实现跨主机pod相互间通信。
- Flannel 是 Overlay 网络的一种,也是将 TCP 源数据包封装在另一种网络包里面进行路由转发和通信,目前支持 UDP、VXLAN、host-GW(静态路由)3种数据转发方式。
3、Flannel 工作原理
- 安装flannel工具后,数据从源node节点的pod发出后,会经由 docker0 网卡转发到 flannel0 网卡,在flannel0 网卡的flanneld 服务会对其进行监听,把数据包封装到 udp 报文中,然后根据自己在etcd中维护的路由表信息通过物理网卡转发到目标node节点上,数据包到达目标node节点后会被 flanneld 服务解封装,然后经由该主机上的flannel0 网卡和docker0网卡转发到目标 pod 的容器
4、ETCD之 Flannel 提供说明
- 存储管理Flannel可分配的IP地址段资源
- 监控 ETCD 中每个 Pod 节点对应node节点的路由表,并在内存中建立维护 Pod 节点路由表
5、Flannel 部署
(1)在Master 01 节点上操作
# 添加 flannel 网络配置信息,写入分配的子网段到 etcd 中,供 flannel 使用 cd /opt/etcd/ssl etcdctl \ > --ca-file=ca.pem \ > --cert-file=server.pem \ > --key-file=server-key.pem \ > --endpoint="https://192.168.70.10:2379,https://192.168.70.15:2379,https://192.168.70.20:2379" \ > set /coreos.com/network/config '{"Network":"172.17.0.0/16","Backend":{"Type":"vxlan"}}' 查看写入信息 etcdctl \ > --ca-file=ca.pem \ > --cert-file=server.pem > --key-file=server-key.pem > --endpoint="https://192.168.70.10:2379,https://192.168.70.15:2379,https://192.168.70.20:2379" get /coreos.com/network/config
字段解析
set <key> <value> 给键赋值
set /coreos.com/network/config 添加一条网络配置记录,这个配置将用于flannel分配给每个docker的虚拟IP地址段以及flannel使用转发方式
get<key>
get /coreos.com/network/config 获取网络配置记录,后面不用再跟参数了
Network∶用于指定Flannel地址池
Backend∶用于指定数据包以什么方式转发,默认为udp模式,Backend为vxlan比起预设的udp性能相对好一些
(2)在所有 Node 节点上操作(以 node1 为例)
上传 flannel-v0.10.0-linux-amd64.tar.gz 到/opt 目录中,解压 flannel 压缩包
cd /opt
tar zxvf flannel-v0.10.0-linux-amd64.tar.gz
flanneld # flanneld为主要的执行文件
mk-docker-opts.sh # mk-docker-opts.sh脚本用于生成Docker启动网络环境参数
README.md
(3)编写 flannel.sh脚本
vim flannel.sh
#!/bin/bash
#定义etcd集群的端点IP地址和对外提供服务的2379端口
#创建flanneld配置文件
cat > /opt/kubernetes/cfg/flanneld <<EOF
FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \\
-etcd-cafile=/opt/etcd/ssl/ca.pem \\
-etcd-certfile=/opt/etcd/ssl/server.pem \\
-etcd-keyfile=/opt/etcd/ssl/server-key.pem"
EOF
cat > /usr/lib/systemd/system/flanneld.service <<EOF
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service
#定义etcd集群的端点IP地址和对外提供服务的2379端口
#创建flanneld配置文件
cat > /opt/kubernetes/cfg/flanneld <<EOF
FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \\
-etcd-cafile=/opt/etcd/ssl/ca.pem \\
-etcd-certfile=/opt/etcd/ssl/server.pem \\
-etcd-keyfile=/opt/etcd/ssl/server-key.pem"
EOF
cat > /usr/lib/systemd/system/flanneld.service <<EOF
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service
[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
#flanneld启动后会使用 mk-docker-opts.sh 脚本生成 docker 网络相关配置信息
#mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS:将组合选项键设置为环境变量DOCKER_NETWORK_OPTIONS,docker启动时将使用此变量
#mk-docker-opts.sh -d /run/flannel/subnet.env:指定要生成的docker网络相关信息配置文件的路径,docker启
动时候引用此配置
systemctl daemon-reload
systemctl enable flanneld
systemctl restart flanneld
(4)创建kubernetes 工作目录
mkdir -p /opt/kubernetes/{cfg,bin,ssl}
cd /opt
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/ #将主要执行文件和docker启动参数移动到工作目录中
(5)启动flanneld服务,开启flannel网络功能
chmod +x flannel.sh
./flannel.sh https://192.168.70.10:2379,https://192.168.70.15:2379,https://192.168.70.20:2379
systemctl status flanneld.service
flannel启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env,包含了docker要使用flannel通讯的相关参数,子网段,空间等
cat /run/flannel/subnet.env
DOCKER_OPT_BIP="--bip=172.17.27.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=172.17.27.1/24 --ip-masq=false --mtu=1450"
字段解析
--bip∶指定 docker 启动时的子网
--ip-masq∶ 设置 ipmasg=false 关闭 snat 伪装策略
--mtu=1450∶mtu 要留出50字节给外层的vxlan封包的额外开销使用
(6)修改Docker网卡网段与flannel一致
# 进入docker启动项中添加flannel 定义的相关网络参数,并将flannel 添加到启动变量中
vim /lib/systemd/system/docker.service
#13行,插入文件
EnvironmentFile=/run/flannel/subnet.env
#14行,添加变量$DOCKER_NETWORK_OPTIONS
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
systemctl daemon-reload
systemctl restart docker
(7)容器键跨网段通信
docker run -itd centos:7 bash
docker ps -a #查看docker运行状态
docker exec -it xxxxxxxxxx bash 进入容器
yum install -y net-tools # 安装工具
ifconfig # 查看网卡信息
指定node1中网卡 ping 其它主机 node2中的容器IP
ping -I 172.17.9.1 172.17.36.1