使用kubeoperator安装的k8s 版本1.20.14 将节点上的容器运行时从 Docker Engine 改为 containerd
背景描述：
1.当前k8s版本是 v1.20.14,使用kubeoperator进行安装的，但是使用kubeoperator不能对k8s进行大版本升级
2.安装的容器运行时是dockershim-> Docker Engine,调用路径如下：
3.鉴于k8s版本1.24以后推荐容器运行时使用containerd，因此需要一个测试环境，把现有k8s集群中使用的dockershim-> Docker Engine 换成 containerd
注意：
1.官方提供的还有：将 Docker Engine 节点从 dockershim 迁移到 cri-dockerd。地址：https://kubernetes.io/zh-cn/docs/tasks/administer-cluster/migrating-from-dockershim/migrate-dockershim-dockerd/
意味着，在k8s1.24版本以上也能继续使用Docker Engine，只不过需要把原先的dockershim替换成cri-dockerd。
1、检查状态并停止服务
systemctl daemon-reload
systemctl stop docker
systemctl disable docker
systemctl stop kubelet
systemctl stop containerd.io # 没安装
systemctl status kubelet.service || systemctl status docker.service
2、升级并配置containerd
# 默认好像没安装，因此不用升级，直接进行安装
# yum update -y containerd.io-1.4.12
yum install -y yum-utils
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
yum -y install containerd.io #版本：1.6.6
直接生产默认配置文件：containerd config default > /etc/containerd/config.toml
#在/etc/containerd/config.toml 中 注释 disabled_plugins 这一行 ==》 这一步不用做
#sed -i '/disabled_plugins/s/^/#/' /etc/containerd/config.toml
配置代理 设置本地、service和pod的段为no_proxy =》 这一步不用做
mkdir /etc/systemd/system/containerd.service.d
cat > /etc/systemd/system/containerd.service.d/http_proxy.conf << EOF
[Service]
Environment="HTTP_PROXY=http://10.2.13.41:8888/"
Environment="HTTPS_PROXY=http://10.2.13.41:8888/"
Environment="NO_PROXY=xx.com,10.95.0.0/16,10.96.0.0/16,cluster.local,localhost"
EOF
# 重启containerd 设置自启动
systemctl daemon-reload
systemctl restart containerd # systemctl start containerd
systemctl enable containerd.service
# 查看状态
systemctl status containerd -l
# 查看代理是否配置成功
systemctl show --property=Environment containerd
3、修改kubelet使用containerd的配置文件：
sed -i 's/"\(.\+\)"/"\1 --container-runtime=remote --container-runtime-endpoint=unix:\/\/\/run\/containerd\/containerd\.sock"/g' /var/lib/kubelet/kubeadm-flags.env
编辑文件 /var/lib/kubelet/kubeadm-flags.env，将 containerd 运行时添加到标志中：
--container-runtime=remote 和 --container-runtime-endpoint=unix:///run/containerd/containerd.sock"。
kubectl edit no develop-master-1
kubectl edit no develop-worker-1
kubectl edit no develop-worker-2
更改 kubeadm.alpha.kubernetes.io/cri-socket 值，将其从 /var/run/dockershim.sock 改为你所选择的 CRI 套接字路径 （例如：unix:///run/containerd/containerd.sock）。
# 重启服务并查看状态
systemctl daemon-reload
systemctl start kubelet
systemctl status kubelet.service -l
# crictl配置
cat <<EOF | sudo tee /etc/crictl.yaml
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 0
debug: false
EOF
查看升级前组件版本：
ctr -v && crictl -v
查看镜像：
ctr namespaces list
ctr -n k8s.io container list
# kubectl get nodes -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
develop-master-1 Ready control-plane,etcd,master,worker 187d v1.20.14 192.168.2.163 <none> CentOS Linux 7 (Core) 3.10.0-1160.49.1.el7.x86_64 docker://20.10.7
develop-worker-1 Ready worker 187d v1.20.14 192.168.2.164 <none> CentOS Linux 7 (Core) 3.10.0-1160.49.1.el7.x86_64 docker://20.10.7
develop-worker-2 Ready worker 187d v1.20.14 192.168.2.165 <none> CentOS Linux 7 (Core) 3.10.0-1160.49.1.el7.x86_64 containerd://1.6.6
问题：
1.使用yum方式安装containerd后，需要生产默认配置文件
containerd config default > /etc/containerd/config.toml
systemctl restart containerd
然后需要修改里面的默认的sandbox_image ，以及镜像仓库等。
尚未解决的问题：配置私有镜像仓库时需要配置拉取镜像使用的用户名和密码，这个还不知道怎么配置
2.之前的pod在启动时，有些公共镜像拉取不下来，这是因为containerd拉取镜像的时候必须是全路径的，也就是说必须带上仓库地址
后续情况：
问题1的私有仓库账号密码没法解决，已经回滚仍使用docker了。
