metrics-sever 遇到的一些坑
1. metric-server-nanny 报错
ERROR: logging before flag.Parse: I1106 20:10:09.444640 1 pod_nanny.go:65] Invoked by [/pod_nanny --config-dir=/etc/config --cpu=80m --extra-cpu=0.5m --memory=80Mi --extra-memory=8Mi --threshold=5 --deployment=metrics-server-v0.3.3 --container=metrics-server --poll-period=300000 --estimator=exponential]
这个报错并不能说明什么东西. 我甚至认为是日志等级打错了, 起初无法kubectl top node, 我就一直在找这个相关的问题，最后发现这个无关紧要
2. 使用kubectk top node/pod 的时候
Error from server (ServiceUnavailable): the server is currently unable to handle the request (get pods.metrics.k8s.io)
这个就是因为前边某一步没有做好, 可以使用命令看下容器的日志
kubectl -n kube-system logs metrics-server-v0.3.3-866b48f94c-wlkqj metrics-server --tail 100 -f
(1) 自动生成证书文件
I1106 20:30:12.973355 1 serving.go:312] Generated self-signed cert (apiserver.local.config/certificates/apiserver.crt, apiserver.local.config/certificates/apiserver.key)
这个还是挺烦人的, 大多说问题也是这个. 因为GitHub刚来下来的时候，并没有让你做挂载目录，使用独立证书的相关示例，而且这个还是一个INFO的信息, 导致很容易误解这里没问题. 实际上，你需要生成一个证书文件及其私钥，并将其挂载到metric-server的容器中使用
① 生成证书
(umask 077; openssl genrsa -out metrics.key 2048) openssl req -new -key metrics.key -out metrics.csr -subj "/O=k8s/CN=metrics-server" openssl x509 -req -in metrics.csr -CA ../ca.pem -CAkey ../ca-key.pem -CAcreateserial -out metrics.crt -days 3650
② 创建私钥并挂载
# 创建私钥 kubectl -n kube-system create secret generic metrics --from-file=metrics.crt --from-file=metrics.key # volume 引入secret volumes: - name: metrics-volume secret: secretName: metric # 容器中挂载 volumeMounts: - name: metrics-volume readOnly: true mountPath: "/metrics-volume"
③ 修改metri-server容器的command命令
- /metrics-server - --metric-resolution=30s - --kubelet-insecure-tls - --kubelet-preferred-address-types=InternalIP - --tls-cert-file=/metrics-volume/metrics.crt - --tls-private-key-file=/metrics-volume/metrics.ke
(2) 查看日志的时候包一些403 没有权限之类的
# 直接把rbac权限授权的文件贴过来了 apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: system:metrics-server labels: kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile rules: - apiGroups: - "" resources: - '*' verbs: - '*' - apiGroups: - "extensions" - "apps" resources: - deployments verbs: - get - list - update - watch --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: system:metrics-server labels: kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: system:metrics-server subjects: - kind: ServiceAccount name: metrics-server namespace: kube-system - kind: User name: metrics namespace: kube-system
(3) 最后还会遇到一个挺奇葩的问题, 访问metric-server的时候，需要指定证书和私钥，这个是metric-server那边的配置，怎么取消没仔细看
systemctl status kube-apiserver.service Nov 07 04:20:49 master01.p-pp.cn kube-apiserver[399335]: E1107 04:20:49.955494 399335 available_controller.go:416] v1beta1.metrics.k8s.io failed with: failing or missing response from https://192.168.100.247:443/apis/metrics.k8s.io/v1beta1: bad status from https://192.168.100.247::443/apis/metrics.k8s.io/v1beta1: 403
没错，还是403，这个是由于api-server访问metric-server时候没有指定证书私钥导致的，可以参考一下方案
当metric-server 日志没问题的时候，可以使用curl置顶证书和私钥访问，如果用curl访问没有问题的话，那么就是下边这个原因了
curl -k --cert /opt/kubernetes/ssl/metrics-server/metrics.crt --key /opt/kubernetes/ssl/metrics-server/metrics.key https://10.244.244.43:443/apis/metrics.k8s.io/v1beta1/nodes
kube-apiserver 的配置选项参考
# proxy-client-cert-file 和 proxy-client-key-file 必须要在requestheader-allowed-names 选项的前边, 看上去是因为requestheader-allowed-names 引用了代理证书和私钥, 我就是因为顺序错了，当执行kubectl top node/pod 的时候也会报错. --enable-aggregator-routing=true \ --proxy-client-cert-file=/opt/kubernetes/ssl/metrics-server/metrics.crt \ --proxy-client-key-file=/opt/kubernetes/ssl/metrics-server/metrics.key \ --requestheader-client-ca-file=/opt/kubernetes/ssl/ca.pem \ --requestheader-allowed-names="metrics" \ --requestheader-extra-headers-prefix=X-Remote-Extra- \ --requestheader-group-headers=X-Remote-Group \ --requestheader-username-headers=X-Remote-User \
