Kubernetes（k8s）安装以及搭建k8s-Dashboard详解

目录

• 一、前期准备
  • 1）前提条件
  • 2）机器信息
  • 3）确保每个节点上 MAC 地址和 product_uuid 的唯一性
  • 4）允许 iptables 检查桥接流量（可选）
  • 5）检查所需端口
• 二、安装 runtime
• 三、安装 kubeadm、kubelet 和 kubectl
  • 1）配置hosts
  • 2）关闭防火墙
  • 3）关闭swap
  • 4）将 SELinux 设置为 disabled模式（相当于将其禁用）
  • 5）配置yum源，这里配置阿里云的源
  • 6）开始安装kubeadm，kubelet和kubectl
  • 7）使用 kubeadm 创建集群（master节点）
  • 8）安装Pod网络插件（CNI：Container Network Interface）(master)
  • 9）Node节点加入集群
• 四、清理
• 五、搭建K8S Dashboard

一、前期准备

1）前提条件

• 三台兼容的 Linux 主机。Kubernetes 项目为基于 Debian 和 Red Hat 的 - - Linux 发行版以及一些不提供包管理器的发行版提供通用的指令
• 每台机器 2 GB 或更多的 RAM （如果少于这个数字将会影响你应用的运行内存)
• 2 CPU 核或更多
• 集群中的所有机器的网络彼此均能相互连接(公网和内网都可以)
• 节点之中不可以有重复的主机名、MAC 地址或 product_uuid。
• 开启机器上的某些端口。
• 禁用交换分区。为了保证 kubelet 正常工作，必须 禁用交换分区。

2）机器信息

机器类型	操作系统	网卡	IP	节点类型
VMware虚拟机	centos8	ens33	192.168.0.113	k8s-master
VMware虚拟机	centos8	ens33	192.168.0.114	k8s-node1
VMware虚拟机	centos8	ens33	192.168.0.115	k8s-node2

修改主机名

# 在192.168.0.113执行
$ hostnamectl set-hostname k8s-master
# 在192.168.0.114执行
$ hostnamectl set-hostname k8s-node1
# 在192.168.0.115执行
$ hostnamectl set-hostname k8s-node2

时间同步

$ yum install chrony -y
$ systemctl start chronyd
$ systemctl enable chronyd
$ chronyc sources

3）确保每个节点上 MAC 地址和 product_uuid 的唯一性

• 你可以使用命令 ip link来获取网络接口的 MAC 地址
• 可以使用 sudo cat /sys/class/dmi/id/product_uuid 命令对 product_uuid 校验

一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。 Kubernetes 使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一，可能会导致安装 失败。

4）允许 iptables 检查桥接流量（可选）

• 确保 br_netfilter 模块被加载。这一操作可以通过运行 lsmod | grep br_netfilter 来完成。若要显式加载该模块，可执行 sudo modprobe br_netfilter。
• 为了让你的 Linux 节点上的 iptables 能够正确地查看桥接流量，你需要确保在你的 sysctl 配置中将 net.bridge.bridge-nf-call-iptables 设置为 1。所有节点都执行以下命令：

$ cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

$ cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
# 手动加载所有的配置文件
$ sudo sysctl --system

5）检查所需端口

=》master节点

协议	方向	端口范围	作用	使用者
TCP	入站	6443	Kubernetes API 服务器	所有组件
TCP	入站	2379-2380	etcd	服务器客户端 API
TCP	入站	10250	Kubelet API	kubelet 自身、控制平面组件
TCP	入站	10251	kube-scheduler	kube-scheduler 自身
TCP	入站	10252	kube-controller-manager	kube-controller-manager 自身

=》node（work）节点

协议	方向	端口范围	作用	使用者
TCP	入站	10250	Kubelet API	kubelet 自身、控制平面组件
TCP	入站	30000-32767	NodePort 服务	所有组件

NodePort 服务 的默认端口范围。

二、安装 runtime

为了在 Pod 中运行容器，Kubernetes 使用 容器运行时（Container Runtime）。

默认情况下，Kubernetes 使用 容器运行时接口（Container Runtime Interface，CRI） 来与你所选择的容器运行时交互。

如果你不指定运行时，则 kubeadm 会自动尝试检测到系统上已经安装的运行时， 方法是扫描一组众所周知的 Unix 域套接字。 下面的表格列举了一些容器运行时及其对应的套接字路径：

运行时	域套接字
Docker	/var/run/dockershim.sock
containerd	/run/containerd/containerd.sock
CRI-O	/var/run/crio/crio.sock

如果同时检测到 Docker 和 containerd，则优先选择 Docker。 这是必然的，因为 Docker 18.09 附带了 containerd 并且两者都是可以检测到的， 即使你仅安装了 Docker。 如果检测到其他两个或多个运行时，kubeadm 输出错误信息并退出。
kubelet 通过内置的 dockershim CRI 实现与 Docker 集成。

装完docker后会仅有containerd

containerd简介

containerd是一个工业级标准的容器运行时，它强调简单性、健壮性和可移植性。containerd可以在宿主机中管理完整的容器生命周期，包括容器镜像的传输和存储、容器的执行和管理、存储和网络等。

Docker vs containerd

containerd是从Docker中分离出来的一个项目，可以作为一个底层容器运行时，现在它成了Kubernete容器运行时更好的选择。

K8S为什么要放弃使用Docker作为容器运行时，而使用containerd呢？

如果你使用Docker作为K8S容器运行时的话，kubelet需要先要通过 dockershim 去调用Docker，再通过Docker去调用containerd。

如果你使用containerd作为K8S容器运行时的话，由于containerd内置了 CRI (Container Runtime Interface：容器运行时接口)插件，kubelet可以直接调用containerd。

所有机器安装docker步骤如下

# 安装yum-config-manager配置工具
$ yum -y install yum-utils
# 设置yum源
$ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装docker-ce版本
$ sudo yum install -y docker-ce
# 启动
$ sudo systemctl start docker
# 开机自启
$ sudo systemctl enable docker
# 查看版本号
$ sudo docker --version
# 查看版本具体信息
$ sudo docker version

# Docker镜像源设置
# 修改文件 /etc/docker/daemon.json，没有这个文件就创建
# 添加以下内容后，重启docker服务：
{
   "registry-mirrors": ["http://hub-mirror.c.163.com"]
}
$ sudo systemctl restart docker

三、安装 kubeadm、kubelet 和 kubectl

你需要在所有机器上安装以下的软件包：

• kubeadm：用来初始化集群的指令。

• kubelet：在集群中的每个节点上用来启动 Pod 和容器等。

• kubectl：用来与集群通信的命令行工具。

kubeadm 不能 帮你安装或者管理 kubelet 或 kubectl，所以你需要 确保它们与通过 kubeadm 安装的控制平面的版本相匹配。 如果不这样做，则存在发生版本偏差的风险，可能会导致一些预料之外的错误和问题。

1）配置hosts

$ echo "192.168.0.113 k8s-master" >> /etc/hosts
$ echo "192.168.0.114 k8s-node1" >> /etc/hosts
$ echo "192.168.0.115 k8s-node2" >> /etc/hosts
# 查看
$ cat /etc/hosts

2）关闭防火墙

$ systemctl stop firewalld
$ systemctl disable firewalld

3）关闭swap

kubelet 在 1.8 版本以后强制要求 swap 必须关闭。要不然kubelet 无法正常启动

# 临时关闭；关闭swap主要是为了性能考虑
$ swapoff -a
# 可以通过这个命令查看swap是否关闭了
$ free
# 永久关闭        
$ sed -ri 's/.*swap.*/#&/' /etc/fstab  

4）将 SELinux 设置为 disabled模式（相当于将其禁用）

# 临时关闭
$ sudo setenforce 0 
# 永久禁用
$ sudo sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

5）配置yum源，这里配置阿里云的源

$ cat > /etc/yum.repos.d/kubernetes.repo << EOF
[k8s]
name=k8s
enabled=1
gpgcheck=0
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
EOF

6）开始安装kubeadm，kubelet和kubectl

$ sudo yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
# disableexcludes=kubernetes：禁掉除了这个kubernetes之外的别的仓库
# 设置为开机自启并现在立刻启动服务 --now：立刻启动服务
$ sudo systemctl enable --now kubelet

# 查看状态
$ systemctl status kubelet

查看状态会发现

重新安装（或第一次安装）k8s，未经过kubeadm init 或者 kubeadm join后，kubelet会不断重启，这个是正常现象……，执行init或join后问题会自动解决，对此官网有如下描述，也就是此时不用理会kubelet.service。

先查看k8s版本

$ kubectl version
$ yum info kubeadm

7）使用 kubeadm 创建集群（master节点）

初始化，--kubernetes-version版本就是上面查询出来的，可以不写，默认会自动获取版本，--image-repository：默认是官网k8s.gcr.io，但是很慢，这里换成了阿里云的；--apiserver-advertise-address=192.168.0.113：这里的ip为master节点ip，记得更换。

$ kubeadm init \
  --apiserver-advertise-address=192.168.0.113 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.22.1 \
  --service-cidr=10.1.0.0/16 \
  --pod-network-cidr=10.244.0.0/16
# –image-repository string：    这个用于指定从什么位置来拉取镜像（1.13版本才有的），默认值是k8s.gcr.io，我们将其指定为国内镜像地址：registry.aliyuncs.com/google_containers
# –kubernetes-version string：  指定kubenets版本号，默认值是stable-1，会导致从https://dl.k8s.io/release/stable-1.txt下载最新的版本号，我们可以将其指定为固定版本（v1.22.1）来跳过网络请求。
# –apiserver-advertise-address  指明用 Master 的哪个 interface 与 Cluster 的其他节点通信。如果 Master 有多个 interface，建议明确指定，如果不指定，kubeadm 会自动选择有默认网关的 interface。
# –pod-network-cidr             指定 Pod 网络的范围。Kubernetes 支持多种网络方案，而且不同网络方案对  –pod-network-cidr有自己的要求，这里设置为10.244.0.0/16 是因为我们将使用 flannel 网络方案，必须设置成这个 CIDR。

但是会报如下错误：registry.aliyuncs.com/google_containers/coredns:v1.8.4 not found

【解决】
由于安装的是Kubernetes v1.22.1版本，在初始化的时候报错信息中提示需要registry.aliyuncs.com/google_containers/coredns:v1.8.4版本的coredns镜像，手动拉取registry.aliyuncs.com/google_containers/coredns:v1.8.4版本的镜像时发现没有，所以就只能拉取一个默认版本的阿里云coredns镜像，拉取下来之后自己再手动修改一下镜像的tag信息为v1.8.4版本。

# 手动拉取默认版本的coredns镜像
$ docker pull  registry.aliyuncs.com/google_containers/coredns    

查看拉取下来的coredns镜像

$ docker images

将拉取的默认版本的coredns镜像tag信息修改为v1.8.4版本

$ docker tag registry.aliyuncs.com/google_containers/coredns:latest registry.aliyuncs.com/google_containers/coredns:v1.8.4  
$ docker images 

再执行上面初始化命令

$ kubeadm init \
  --apiserver-advertise-address=192.168.0.113 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.22.1 \
  --service-cidr=10.1.0.0/16 \
  --pod-network-cidr=10.244.0.0/16

报错如下：

$ tail /var/log/messages

上述日志表明：kubelet的cgroup driver是cgroupfs，docker的 cgroup driver是systemd，两者cgroup driver不一致导致kubelet启动失败。

【解决】

1. 修改kubelet的Cgroup Driver（这里不修改kubelet的）
   修改/usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf文件，增加--cgroup-driver=cgroupfs

重启kubelet

$ systemctl daemon-reload
$ systemctl restart kubelet

这里不真正用这个方式，而是修改docker的cgroup driver
2. 修改docker的cgroup driver（修改docker的，也就是这个方式），修改或创建/etc/docker/daemon.json，加入下述内容：

{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

重启docker

$ cat /etc/docker/daemon.json
$ systemctl daemon-reload
$ systemctl restart docker
# 查看docker的cgroup driver
$ docker info | grep Cgroup

先重置

# 重置
$ kubeadm reset
# 重启
$ systemctl restart kubelet

重新初始化

$ kubeadm init \
  --apiserver-advertise-address=192.168.0.113 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.22.1 \
  --service-cidr=10.1.0.0/16 \
  --pod-network-cidr=10.244.0.0/16

根据上图提示，要使非 root 用户可以运行 kubectl，请运行以下命令， 它们也是 kubeadm init 输出的一部分：

$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

或者，如果你是 root 用户，则可以运行，这里我使用root用户，但是生产环境一般不会用root用户的：

# 临时生效（退出当前窗口重连环境变量失效）
$ export KUBECONFIG=/etc/kubernetes/admin.conf
# 永久生效（推荐）
$ echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
$ source  ~/.bash_profile

如果不加入环境变量，会出现如下报错：

8）安装Pod网络插件（CNI：Container Network Interface）(master)

你必须部署一个基于 Pod 网络插件的 容器网络接口 (CNI)，以便你的 Pod 可以相互通信。

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

如果上面安装失败，则下载我百度里的，离线安装

链接：https://pan.baidu.com/s/1HB9xuO3bssAW7v5HzpXkeQ
提取码：8888

$ kubectl apply -f kube-flannel.yml
$ docker images

查看集群信息

$ kubectl get nodes

9）Node节点加入集群

如果没有令牌，可以通过在控制平面节点上运行以下命令来获取令牌：

$ kubeadm token list

默认情况下，令牌会在24小时后过期。如果要在当前令牌过期后将节点加入集群， 则可以通过在控制平面节点上运行以下命令来创建新令牌：

$ kubeadm token create
# 再查看
$ kubeadm token list

如果你没有 --discovery-token-ca-cert-hash 的值，则可以通过在控制平面节点上执行以下命令链来获取它：

$ openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
   openssl dgst -sha256 -hex | sed 's/^.* //'

如果执行kubeadm init时没有记录下加入集群的命令，可以通过以下命令重新创建（推荐）一般不用上面的分别获取token和ca-cert-hash方式，执行以下命令一气呵成：

$ kubeadm token create --print-join-command

---

以下命令在node节点执行**

# 查看集群信息
$ kubectl get nodes

【问题】这里可能会报错 localhost:10248拒绝访问,这个无解,重装系统解决

【解决】
重置节点信息

$ kubeadm reset

需要将master节点的 /etc/kubernetes/admin.conf复制到node节点的相同位置

$ scp /etc/kubernetes/admin.conf 192.168.0.114:/etc/kubernetes/
$ scp /etc/kubernetes/admin.conf 192.168.0.115:/etc/kubernetes/

执行下面的代码加入环境变量

$ echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
$ source  ~/.bash_profile

修改docker的cgroup driver，修改或创建/etc/docker/daemon.json，加入下述内容：

{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

重新加载

$ systemctl daemon-reload
$ systemctl restart docker
$ docker info | grep Cgroup

$ kubectl get nodes

安装flannel网络插件，采用离线安装，kube-flanel.yml文件上面有

$ kubectl apply -f kube-flannel.yml

将node节点加入到集群中

$ kubeadm token create --print-join-command
# --v=5：显示详细信息
$ kubeadm join 192.168.0.113:6443 --token cgmxso.bfgou00m72tnbpz4 --discovery-token-ca-cert-hash sha256:b4792b0f3b54c8b8b71a4a484129b4e2acfe5014c37b1b18dbebbc0c8f69fc15 --v=5

另一个node节点同上操作

【问题】STATUS一直为NotReady
首先使用如下命令来看一下kube-system的 pod 状态：

$ kubectl get pod -n kube-system
$ kubectl get pod -n kube-system -o wide

如上，可以看到 pod kube-flannel 的状态是ImagePullBackoff，意思是镜像拉取失败了，所以我们需要手动去拉取这个镜像。这里可以看到某些 pod 运行了两个副本是因为我有两个节点存在了。

也可以通过kubectl describe pod -n kube-system <服务名>来查看某个服务的详细情况，如果 pod 存在问题的话，你在使用该命令后在输出内容的最下面看到一个[Event]条目，如下：

$ kubectl describe pod kube-flannel-ds-4j2mp -n kube-system

【解决】手动拉取镜像

$ docker pull quay.io/coreos/flannel:v0.14.0

修改完了之后过几分钟 k8s 会自动重试，等一下就可以发现不仅flannel正常了，其他的 pod 状态也都变成了Running，这时再看 node 状态就可以发现问题解决了：

四、清理

如果你在集群中使用了一次性服务器进行测试，则可以关闭这些服务器，而无需进一步清理。你可以使用 kubectl config delete-cluster 删除对集群的本地引用。

1）先将节点设置为维护模式(k8s-node1是节点名称)

$ kubectl drain k8s-node1 --delete-local-data --force --ignore-daemonsets

2）在删除节点之前，请重置 kubeadm 安装的状态：

$ kubeadm reset

3）重置过程不会重置或清除 iptables 规则或 IPVS 表。如果你希望重置 iptables，则必须手动进行：

$ iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

4）如果要重置 IPVS 表，则必须运行以下命令：

$ ipvsadm -C

5）现在删除节点：

$ kubectl delete node k8s-node1

五、搭建K8S Dashboard

1）下载dashboard文件：

$ curl -o kubernetes-dashboard.yaml  https://raw.githubusercontent.com/kubernetes/dashboard/master/aio/deploy/recommended/kubernetes-dashboard.yaml

如果地址不可用可以使用下面的地址下载

链接：https://pan.baidu.com/s/1-tEablkFTrMC-N9-8T7rrA
提取码：8888

安装

$ kubectl apply -f kubernetes-dashboard.yaml

验证，查看服务被分配到哪个节点上：$ kubectl get pods -n kube-system -o wide

$ kubectl get pods -n kube-system -o wide

从上图可知，服务被分配到了k8s-node1，对外端口为nodePort：31080，配置文件里的。
谷歌浏览器访问不了，原因是部署UI的镜像中默认自带的证书是一个不可信任的证书，则先用火狐访问：https://nodeIp:nodePort

https://192.168.0.114:31080

获取token测试

$ kubectl get secret -n kube-system|grep  kubernetes-dashboard-token
# 根据自己情况输入命令
$ kubectl describe secret kubernetes-dashboard-token-m7b7b -n kube-system

解决谷歌浏览器不能访问的问题，通过生成新的证书永久解决

# 创建一个用于自签证书的目录
$ mkdir kubernetes-dashboard-key && cd kubernetes-dashboard-key
 
# 生成证书请求的key
$ openssl genrsa -out dashboard.key 2048
 
# 192.168.0.113为master节点的IP地址
$ openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=192.168.0.113'
 
 
# 生成自签证书
$ openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt

# 删除原有证书
$ kubectl delete secret kubernetes-dashboard-certs -n kube-system

# 创建新证书的secret
$ kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt -n kube-system

# 查找正在运行的pod
$ kubectl get pod -n kube-system

# 删除pod，让k8s自动拉起一个新的pod，相对于重启
kubectl delete pod kubernetes-dashboard-7d6c598b5f-fvcg8 -n kube-system

服务调度到k8s-node2节点上了，访问

https://192.168.0.115:31080

现在Google浏览器也可以访问了
再获取token登录

$ kubectl get secret -n kube-system|grep  kubernetes-dashboard-token
# 根据自己情况输入命令
$ kubectl describe secret kubernetes-dashboard-token-m7b7b -n kube-system

以上就完整版K8s安装流程了~