maoqide

手动二进制部署的 kubernetes 集群证书过期处理

原文链接:https://maoqide.live/posts/cloud/kubernetes-certs-renew

现象

一个二进制部署的 kubernetes 集群,突然发现无法连接到 apiserver,执行 kubectl 时报错:

Unable to connect to the server: x509: certificate has expired or is not yet valid: current time 2024-05-31T15:25:02+08:00 is after 2024-05-29T08:07:53Z

解决

排查下来原因是 apiserver 的证书过期,导致 kubectl 及其他的控制面组件均无法连接到 apiserver。所以我们需要更新 apiserver 的证书。由于这是一个比较古老的集群,之前还是完全使用手动二进制部署方式,证书也是手动生成的,维护并不方便。因此我想要通过 kubeadm 来更新集群证书。

通过查阅官方文档 使用 kubeadm 进行证书管理,发现是可行的,只要在生成证书时,将手动生成证书时使用的根证书 ca.crt 和 ca.key 传递给 kubeadm 即可。具体方式如下:

1.备份原有证书

备份是一个好习惯,需要养成。在更新证书之前,先将原有证书备份一份,出现问题时可以快速恢复。

cp -r /etc/kubernetes/pki /etc/kubernetes/pki.bak

2.下载 kubeadm

下载和当前集群版本对应的 kubeadm 工具。

3.准备证书生成目录

kubeadm 默认生成证书是在 /etc/kubernetes/pki 下,为了避免出现问题覆盖原有证书,我新建了一个目录/tmp/kubernetes/pki用于证书生成,同时将原 ca 证书文件拷贝到该目录下。

mkdir -p /tmp/kubernetes/pki
cp /etc/kubernetes/pki/ca.crt /tmp/kubernetes/pki
cp /etc/kubernetes/pki/ca.key /tmp/kubernetes/pki

4.准备 kubeadm config 文件

执行 kubeadm 时,需要指定一个配置文件,用来告诉 kubeadm apiserver 的地址、pods/svc 的网段、DNS 后缀等信息,以便在生成证书时,写入 csr 文件中。否则证书更新后可能出现 x509 错误。以下是我在生成时指定的配置文件。

apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
controlPlaneEndpoint: "172.16.249.85:6443"
networking:
  podSubnet: "xx.xxx.0.0/17"
  serviceSubnet: "xx.xxx.128.0/17"
  dnsDomain: "cluster.local"
certificatesDir: "/tmp/kubernetes/certs"

5.生成新的证书

# 生成所有证书
./kubeadm init phase certs all --config kubeadm-config.yaml

# 实际上这里只需要更新 apiserver 的证书即可,可以指定只生成 apiserver 证书
./kubeadm init phase certs apiserver --config kubeadm-config.yaml

6.更新证书

将生成的 apiserver 的证书拷贝到原有证书目录下。

cp -f /tmp/kubernetes/pki/apiserver.crt /etc/kubernetes/pki
cp -f /tmp/kubernetes/pki/apiserver.key /etc/kubernetes/pki

到此,证书更新已经完成,可以检查下集群是否恢复正常。

posted on 2024-06-05 18:26  maoqide  阅读(97)  评论(0编辑  收藏  举报

导航