K8S 二进制单节点安装部署详解（1）

K8S二进制单节点安装部署详解（1）

一、常见的K8S 部署方式

1、MiniKube

Minikube是一个工具，可以在本地快速运行一个单节点模型K8S，仅用于学习、预览K8S的一些特性使用

部署地址：https://kubernetes.io/docs/setup/minikube

2、Kubeadmin

Kubeadmin 也是一个工具，提供Kubeadm init和kubeadm join，用于快速部署k8s集群，相对简单

https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

3、二进制安装部署

生产首选，从官方下载发行版的二进制包，手动部署每个组件和自谦TLS 证书，组成k8s，新手推荐。

https://github.com/kubernetes/kubernetes/releases

Kubeadmi降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。若果想更容易可控，推荐使用人间至包部署kubernetes集群，虽然手动部署麻烦点，期间可以学习很多工作原理，也利于后期维护

二、kubernetes 二进制部署

环境准备

# 关闭防火墙
systemctl stop firewalld
systemctl disable  firewalld

# 关闭 selinux
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

# 关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
# 根据规划设置主机名
hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02

# 在master 添加 hosts
cat >> /etc/hosts << EOF
192.168.70.10 master01
192.168.70.15 node01
192.168.70.20 node02
EOF

# 将桥接的 IPV4 流量传递到 iptables 的链
cat> /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

#时间同步
yum install ntpdate  -y
ntpdate  time.windows.com

注：在master服务器及两台node节点服务器上执行以上操作，贴图只贴嘞master服务器的操作

三、部署 etcd 集群

etcd是CoreOs团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库。etcd内部采用raft 协议作为一致性算法，etcd是go语言编写的。

1、etcd 作为服务发现系统，有以下的特点

简单∶ 安装配置简单，而且提供了HTTP API进行交互，使用也很简单

安全∶支持SSL证书验证

快速∶单实例支持每秒2k+读操作

可靠∶采用raft算法，实现分布式系统数据的可用性和一致性

etcd 目前默认使用2379端口提供HTTP API服务， 2380端口和peer通信（这两个端口已经被IANA（互联网数字分配机构）官方预留给etcd）。即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务器间内部通讯。
etcd 在生产环境中一般推荐集群方式部署。由于etcd 的leader选举机制，要求至少为3台或以上的奇数台。

2、准备签发证书环境

CFSSL 是 cloudFlare 公司开源的一款 PKI/TLS 工具。 CFSSL 包含一个命令行工具和一个用于签名、验证和捆绑 TLs 证书的 HrrP API 服务。使用Go语言编写。
CFSSL 使用配置文件生成证书，因此自签之前，需要生成它识别的 json 格式的配置文件，CFSSL 提供了方便的命令行生成配置文件。CFSSL用来为 etcd 提供 TLS 证书，
它支持签三种类型的证书∶

client 证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如 kube-apiserver 访问 etcd;
server 证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如 etcd 对外提供服务;
peer 证书，相互之间连接时使用的证书，如 etcd 节点之间进行验证和通信。

这里全部都使用同一套证书认证

3、在master 节点上操作

//下载证书制作工具
wget https://pkg.cfss1.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl,org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
wget https://pkq.cfssl.org/R1.2/cfssl-certinfo_linux-amd64-O /usr/local/bin/cfssl-certinfo 或
curl -L https://pkg.cfssl.org/R1.2/cfss1 linux-amd64 -o /usr/local/bin/cfss1
curl-L https://pkg.cfssl.org/R1.2/cfsslisonlinux-amd64 -o /usr/local/bin/cfssljson
curl-L https://pkg,cfssl,org/R12Lcfssl-certinfo linux-amd64 -o /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl*

cfssl∶证书签发的工具命令
cfssljson∶将 cfssl  生成的证书（json格式）变为文件承载式证书
cfssl-certinfo∶验证证书的信息
cfssl-certinfo -cert <证书名称>        查看证书的信息

mkdir /opt/k8s   #创建 k8s.工作目录
cd /opt/k8s/     #上传etcd-cert.sh 和etcd.sh和证书制作工具到/opt/k8s/ 目录中
chmod +x *       # 授权
mv cfssl* /usr/local/bin/   将证书授权工具（cfssl cfssl-certinfo cfssljson）移动到 /usr/local/bin目录中

vim etcd-cert.sh  #该文件为自己编写shell脚本，需修改里面master和etcd服务器的IP地址

mkdir /opt/k8s/etcd-cert           
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh    生成CA证书、etcd服务证书以及私钥

4、启动etcd服务

//etcd二进制包地址: https://github.com/etcd-io/etcd/releases
//上传etcd-v3.3.10-1inux-amd64.tar.gz 到/opt/k8s/ 目录中，解压etcd 压缩包
cd /opt/k8s/
tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
ls etcd-v3.3.10-linux-amd64
Documentation  etcd  etcdctl  README-etcdctl.md  README.md  READMEv2-etcdctl.md
-----------------------------------------------------------
etcd就是etcd服务的启动命令，后面可跟各种启动参数
etcdct1主要为etcd服务提供了命令行操作
-----------------------------------------------------------
//创建用于存放etcd配置文件，命令文件，证书的目录
mkdir -p /opt/etcd/{cfg,bin,ssl}
mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/
cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/
./etcd.sh etcd01 192.168.70.10 etcd02=https://192.168.70.15:2380,etcd03=https://192.168.70.20:2380
//进入卡住状态等待其他节点加入，这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都已启动，可忽略这个情况
/另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd
//把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd/ @192.168.70.15:/opt/
scp -r /opt/etcd/ @192.168.70.20:/opt/

//把etcd服务管理文件拷贝到另外两个etcd集群节点
scp /usr/lib/systemd/system/etcd.service root@192.168.70.15:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.70.20:/usr/lib/systemd/system/

5、在 node节点上操作

======在node1节点修改======
cd /opt/etcd/cfg/
vim etcd 
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.70.15:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.70.15:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.70.15:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.70.15:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.70.10:2380,etcd02=https://192.168.70.10:2380,etcd03=https://192.168.70.20:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"


======在node2节点修改======
cd /opt/etcd/cfg/
vim etcd 
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.70.20:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.70.20:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.70.20:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.70.20:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.70.10:2380,etcd02=https://192.168.70.15:2380,etcd03=https://192.168.70.20:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

6、启动etcd服务

-------------首先在master1节点上进行启动----------
cd /opt/k8s/
./etcd.sh etcd01 192.168.70.10 etcd02=https://192.168.70.15:2380,etcd03=https://192.168.70.20:2380

-------------接着在node1和node2节点分别进行启动======

systemctl daemon-reload

systemctl enable --now etcd.service

======在master1 节点上操作======
ln -s /opt/etcd/bin/etcd* /usr/local/bin
//检查etcd群集状态
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \

--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.70.10:2379,https://192.168.70.15:2379,https://192.168.70.20:2379" \
cluster-health
-----------------------------------------------
--cert-file:识别HTTPS端使用sSL证书文件
--key-file: 使用此SSL密钥文件标识HTTPS客户端
-ca-file:使用此CA证书验证启用https的服务器的证书
--endpoints:集群中以逗号分隔的机器地址列表
cluster-health:检查etcd集群的运行状况
-----------------------------------------------
//切换到etcd3版本查看集群节点状态和成员列表
export ETCDCTL_API=3
#v2和v3命令略有不同，etcd2 和etcd3也是不兼容的，默认是v2版本
etcdctl --write-out=table endpoint status
etcdctl --write-out=table member list
export ETCDCTL_API=2
#再切回v2版本

四、部署Docker引擎

node所有节点部署Docker引擎

yum install -y yum-utils device-mapper-persistent-data 1vm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce dqsker-ce-cli containerd.io

systemctl start docker.service
systemctl enable docker.service

五、flannel 网络配置

1、k8s中的网络通信

（1）Pod 内容器与容器之间的通信

在同一个 Pod 内的容器（Pod内的容器是不会跨宿主机的）共享同一个网络命令空间，相当于它们在同一台机器上一样，可以用 localhost 地址访问彼此的端口。

（2）同一个Node内Pod之间的通信

每个Pod 都有一个真实的全局 IP 地址，同一个 Node 内的不同 Pod 之间可以直接采用对方 Pod 的 IP 地址进行通信，Pod1 与 Pod2 都是通过Veth 连接到同一个 docker0 网桥，网段相同，所以它们之间可以直接通信。

（4）不同 Node 上Pod 之间的通信

Pod 地址与 docker0 在同一网段，docker0 网段与宿主机网卡是两个不同的网段，且不同 Node 之间的通信只能通过宿主机的物理网卡进行。要想实现不同 Node 上 Pod 之间的通信，就必须想办法通过主机的物理网卡 IP 地址进行寻址和通信。因此要满足两个条件
Pod 的 IP 不能冲突，将 Pod 的 IP 和所在的 Node的IP关联起来，通过这个关联让不同 Node 上 Pod 之间直接通过内网 IP 地址通信。

Overlay Network

叠加网络，在一层或者三层基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路隧道连接起来（类似于VPN）。

VXLAN

将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址。

2、Flannel

Flannel 是一款网络插件CNI其中有（flannel、calico等），Flannel 的功能是让集群中的不同节点主机创建的 Docker 容器都具有全集群唯一的虚拟 IP 地址，在K8s中实现跨主机pod相互间通信。
Flannel 是 Overlay 网络的一种，也是将 TCP 源数据包封装在另一种网络包里面进行路由转发和通信，目前支持 UDP、VXLAN、host-GW（静态路由）3种数据转发方式。

3、Flannel 工作原理

安装flannel工具后，数据从源node节点的pod发出后，会经由 docker0 网卡转发到 flannel0 网卡，在flannel0 网卡的flanneld 服务会对其进行监听，把数据包封装到 udp 报文中，然后根据自己在etcd中维护的路由表信息通过物理网卡转发到目标node节点上，数据包到达目标node节点后会被 flanneld 服务解封装，然后经由该主机上的flannel0 网卡和docker0网卡转发到目标 pod 的容器

4、ETCD之 Flannel 提供说明

存储管理Flannel可分配的IP地址段资源
监控 ETCD 中每个 Pod 节点对应node节点的路由表，并在内存中建立维护 Pod 节点路由表

5、Flannel 部署

（1）在Master 01 节点上操作

# 添加 flannel 网络配置信息，写入分配的子网段到 etcd 中，供 flannel 使用

cd /opt/etcd/ssl
etcdctl \
> --ca-file=ca.pem \
> --cert-file=server.pem \
> --key-file=server-key.pem \
> --endpoint="https://192.168.70.10:2379,https://192.168.70.15:2379,https://192.168.70.20:2379" \
> set /coreos.com/network/config '{"Network":"172.17.0.0/16","Backend":{"Type":"vxlan"}}'

查看写入信息
etcdctl  \
> --ca-file=ca.pem \
> --cert-file=server.pem 
> --key-file=server-key.pem 
> --endpoint="https://192.168.70.10:2379,https://192.168.70.15:2379,https://192.168.70.20:2379" get /coreos.com/network/config

字段解析
set <key> <value>  给键赋值
set /coreos.com/network/config 添加一条网络配置记录，这个配置将用于flannel分配给每个docker的虚拟IP地址段以及flannel使用转发方式

get<key>
get /coreos.com/network/config 获取网络配置记录，后面不用再跟参数了

Network∶用于指定Flannel地址池
Backend∶用于指定数据包以什么方式转发，默认为udp模式，Backend为vxlan比起预设的udp性能相对好一些

（2）在所有 Node 节点上操作（以 node1 为例）

上传 flannel-v0.10.0-linux-amd64.tar.gz 到/opt 目录中，解压 flannel 压缩包
cd /opt
tar zxvf flannel-v0.10.0-linux-amd64.tar.gz 
flanneld                                                  # flanneld为主要的执行文件
mk-docker-opts.sh               # mk-docker-opts.sh脚本用于生成Docker启动网络环境参数
README.md

（3）编写 flannel.sh脚本

vim flannel.sh

#!/bin/bash

#定义etcd集群的端点IP地址和对外提供服务的2379端口
#创建flanneld配置文件
cat > /opt/kubernetes/cfg/flanneld <<EOF
FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \\
-etcd-cafile=/opt/etcd/ssl/ca.pem \\
-etcd-certfile=/opt/etcd/ssl/server.pem \\
-etcd-keyfile=/opt/etcd/ssl/server-key.pem"
EOF

cat > /usr/lib/systemd/system/flanneld.service <<EOF
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service

#定义etcd集群的端点IP地址和对外提供服务的2379端口
#创建flanneld配置文件
cat > /opt/kubernetes/cfg/flanneld <<EOF
FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \\
-etcd-cafile=/opt/etcd/ssl/ca.pem \\
-etcd-certfile=/opt/etcd/ssl/server.pem \\
-etcd-keyfile=/opt/etcd/ssl/server-key.pem"
EOF

cat > /usr/lib/systemd/system/flanneld.service <<EOF
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure

[Install]
WantedBy=multi-user.target

EOF

#flanneld启动后会使用 mk-docker-opts.sh 脚本生成 docker 网络相关配置信息
#mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS：将组合选项键设置为环境变量DOCKER_NETWORK_OPTIONS，docker启动时将使用此变量
#mk-docker-opts.sh -d /run/flannel/subnet.env：指定要生成的docker网络相关信息配置文件的路径，docker启
动时候引用此配置

systemctl daemon-reload
systemctl enable flanneld
systemctl restart flanneld

（4）创建kubernetes 工作目录

mkdir -p /opt/kubernetes/{cfg,bin,ssl}
cd /opt
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/            #将主要执行文件和docker启动参数移动到工作目录中

（5）启动flanneld服务，开启flannel网络功能

chmod +x flannel.sh
./flannel.sh https://192.168.70.10:2379,https://192.168.70.15:2379,https://192.168.70.20:2379
systemctl status flanneld.service

flannel启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env，包含了docker要使用flannel通讯的相关参数，子网段，空间等
cat /run/flannel/subnet.env
DOCKER_OPT_BIP="--bip=172.17.27.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=172.17.27.1/24 --ip-masq=false --mtu=1450"

字段解析
 --bip∶指定 docker 启动时的子网
 --ip-masq∶ 设置 ipmasg=false 关闭 snat 伪装策略
 --mtu=1450∶mtu 要留出50字节给外层的vxlan封包的额外开销使用

（6）修改Docker网卡网段与flannel一致

# 进入docker启动项中添加flannel 定义的相关网络参数，并将flannel 添加到启动变量中

vim /lib/systemd/system/docker.service 
#13行，插入文件
EnvironmentFile=/run/flannel/subnet.env
#14行，添加变量$DOCKER_NETWORK_OPTIONS
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock

systemctl daemon-reload
systemctl restart docker

（7）容器键跨网段通信

docker run -itd centos:7 bash
docker ps -a         #查看docker运行状态

docker exec -it   xxxxxxxxxx  bash   进入容器
yum install -y net-tools   # 安装工具
ifconfig                     # 查看网卡信息

指定node1中网卡 ping 其它主机 node2中的容器IP
ping -I 172.17.9.1 172.17.36.1

posted @ 2021-10-27 21:31 YhtWeirdo 阅读(423) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

YhtWeirdo