kubelet 配置管理（一）

kubelet说明

首先kubelet的运行环境是在node上

在Kubernetes集群中的每个workNode需要运行kubelet用于与apiServer通信

kubeadm join过程

如果使用kubeadm集群管理工具安装的集群，官方提供二种方式将worknode加入到Kubernetes集群中

使用共享令牌、apiserver地址:端口（具体命令形式 kubeadm join apiserver地址:6443 --token --discovery-token-ca-cert-hash sha256: --v=5 ）
提供kubeconfig相关文件，该文件的形式可以是一个本地文件，或者是URL的形式（kubeadm join --discovery-file apth/to/file.conf 或者 kubeadm join --discovery-file https://usr/file.conf）

token 提供标识的令牌

--discovery-token-ca-cert-hash，提供Kubernetes集群根证书颁发机构CA公钥的哈希值

加入过程

预加入检测（环境检查，镜像下载）
从control-plane节点的kubeadm-certs密钥下载需要的证书
生成kubelet配置文件，生成的源文件位于Kubernetes集群中的kubelet-config ConfigMap中，并写入 /var/lib/kubelet/config.yaml 中
加载新的kubelet配置后，kubeadm 将写入 /etc/kubernetes/bootstrap-kubelet.conf KubeConfig 文件中，该文件包含 CA 证书和引导程序令牌。 kubelet 使用这些证书执行 TLS 引导程序并获取唯一的凭据，该凭据被存储在 /etc/kubernetes/kubelet.conf 中。当 /etc/kubernetes/kubelet.conf 文件被写入后，kubelet 就完成了 TLS 引导过程。 Kubeadm 在完成 TLS 引导过程后将删除 /etc/kubernetes/bootstrap-kubelet.conf 文件

到此WorkNode注册完成，然后持续监控API服务器调度指令，同时kubelet也会将自身节点状态信息（节点资源CPU/MEM/DISK、资源消耗/资源空闲信息、故障事件、）报告于API服务器

同时接收API服务器的调度指令，如创建Pod、故障转移、状态检测

kubelet配置管理

kubelet的配置文件管理方式如下3种

单独维护自身节点的配置文件（/var/lib/kubelet/config.yaml）可以直接修改需要重启kubelet，存在一定的风险，如果在高并发情况下，服务短暂停止也有可能hang住
动态配置kubelet运行环境（kubernetes v1.22已经废掉该功能，不推荐使用）
kubelet配置集中管理，初始化文件被Kubernetes kubelet-config ConfigMap集中管理，统一下发到各个WorkNode下

方案一

通过配置文件设置 Kubelet 参数

具体二种方式配置如下

修改kubelet启动参数，参考阿里云ACK配置，如下

/etc/systemd/system/kubelet.service.d

具体kubelet参数请参考官方文档，如下

https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet/

[root@iZj6c9xktnoxcwok6asqa9Z kubelet.service.d]# cat 10-kubeadm.conf
[Service]
EnvironmentFile=-/etc/kubernetes/kubelet-customized-args.conf
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_SYSTEM_PODS_ARGS=--max-pods 23 --pod-max-pids 16384 --pod-manifest-path=/etc/kubernetes/manifests"
Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --dynamic-config-dir=/etc/kubernetes/kubelet-config --v=3"
Environment="KUBELET_DNS_ARGS=--enable-controller-attach-detach=true --cluster-dns=192.168.0.10         --pod-infra-container-image=registry-vpc.cn-hongkong.aliyuncs.com/acs/pause:3.2
--enable-load-reader --cluster-domain=demo.local --cloud-provider=external         --hostname-override=cn-hongkong.172.31.34.242 --provider-id=cn-hongkong.i-j6c9xktnoxcwok6asqa9"
Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --authentication-token-webhook=true --anonymous-auth=false --client-ca-file=/etc/kubernetes/pki/ca.crt"
Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd"
Environment="KUBELET_CERTIFICATE_ARGS=--tls-cipher-suites=TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_R
SA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256 --tls-cert-file=/v
ar/lib/kubelet/pki/kubelet.crt --tls-private-key-file=/var/lib/kubelet/pki/kubelet.key --rotate-certificates=true --cert-dir=/var/lib/kubelet/pki"
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $
KUBELET_EXTRA_ARGS $KUBELET_CUSTOMIZED_ARGS

ps -ef查看进程如下效果

[root@iZj6c9xktnoxcwok6asqa9Z kubelet.service.d]# ps -ef | grep kubelet
root        3288       1  2 Oct26 ?        1-08:52:32 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --max-pods
23 --pod-max-pids 16384 --pod-manifest-path=/etc/kubernetes/manifests --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --dynamic-config-dir=/etc/kubernetes/k
ubelet-config --v=3 --enable-controller-attach-detach=true --cluster-dns=192.168.0.10 --pod-infra-container-image=registry-vpc.cn-hongkong.aliyuncs.com/acs/pause:3.2 --enable-load-reader
 --cluster-domain=demo.local --cloud-provider=external --hostname-override=cn-hongkong.172.31.34.242 --provider-id=cn-hongkong.i-j6c9xktnoxcwok6asqa9 --authorization-mode=Webhook --authe
ntication-token-webhook=true --anonymous-auth=false --client-ca-file=/etc/kubernetes/pki/ca.crt --cgroup-driver=systemd --tls-cipher-suites=TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_EC
DHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,
TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256 --tls-cert-file=/var/lib/kubelet/pki/kubelet.crt --tls-private-key-file=/var/lib/kubelet/pki/kubelet.key --rotate-certific
ates=true --cert-dir=/var/lib/kubelet/pki --eviction-hard=imagefs.available<15%,memory.available<300Mi,nodefs.available<10%,nodefs.inodesFree<5% --system-reserved=memory=300Mi --kube-res
erved=memory=400Mi --kube-reserved=pid=1000 --system-reserved=pid=1000

生成一个config.yaml文件，如下

可以在原有基础上修改或者新增一些必要的参数

具体config.yaml配置文件，结构可参考官方文档

https://kubernetes.io/zh/docs/reference/config-api/kubelet-config.v1beta1/

apiVersion: kubelet.config.k8s.io/v1beta1
authentication:
  anonymous:
    enabled: false
  webhook:
    cacheTTL: 0s
    enabled: true
  x509:
    clientCAFile: /etc/kubernetes/pki/ca.crt
authorization:
  mode: Webhook
  webhook:
    cacheAuthorizedTTL: 0s
    cacheUnauthorizedTTL: 0s
clusterDNS:
- 10.12.0.10
maxPods: 32 
systemReserved: 
  cpu: 300m 
  memory: 300Mi 
kubeReserved: 
  cpu: 300m 
  memory: 200Mi 
evictionHard: 
  memory.available: "300Mi" 
  nodefs.available: "15%" 
  nodefs.inodesFree: "5%" 
  imagefs.available: "15%" 
evictionMinimumReclaim: 
  memory.available: "0Mi" 
  nodefs.available: "20Gi" 
  imagefs.available: "10Gi"
clusterDomain: cluster.local
cpuManagerReconcilePeriod: 0s
evictionPressureTransitionPeriod: 0s
fileCheckFrequency: 0s
healthzBindAddress: 127.0.0.1
healthzPort: 10248
httpCheckFrequency: 0s
imageMinimumGCAge: 0s
kind: KubeletConfiguration
nodeStatusReportFrequency: 0s
nodeStatusUpdateFrequency: 0s
rotateCertificates: true
runtimeRequestTimeout: 0s
staticPodPath: /etc/kubernetes/manifests
streamingConnectionIdleTimeout: 0s
syncFrequency: 0s
volumeStatsAggPeriod: 0s

如何查看默认kubelet的配置，如下

curl -sk https://kubernetes.default.svc/api/v1/nodes/pre-be-k8s-wn1/proxy/configz | jq -r

方案二

动态配置kubelet运行环境

既然官方明确指出，此功能已在Kubernetes v1.22版本被废除，运行环境需低于1.22版本

引用官方文档，地址如下

https://v1-22.docs.kubernetes.io/zh/docs/tasks/administer-cluster/reconfigure-kubelet/

大致过程如下

准备自定义一个kubelet config.yaml配置文件
将此文件生成Kubernetes ConfigMap资源用于集中管理（保存在Kubernetes Control-plane节点）
修改WorkNode节点对象从此ConfigMap获取配置配置文件

被废除的功能，不详细说明

方案三

使用Kubernetes ConfigMap集中管理kubelet config.yaml

引用官方文档，地址如下

https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/kubelet-integration/

使用kubeadm配置kubelet模式共有二种，如下

集群中心配置传播到节点的kubelet
方式一，在kubeadm init & kubeadm join 可以使用默认值，在初始化 & 加入集群后节点的默认配置文件位置位于/var/lib/kubelet/config.yaml并且上传至集群的ConfigMap命名是kubelet-config-1.x，其中x代表的是你当前使用的kubernetes版本。如果在初始化完成后，也可以及时修改ConfigMap配置（根据你需要的参数，比如DNS地址，clusterDomain），同时生成kubelet与集群API交互的通信加密文档kubelet.conf，存放在/etc/kubernetes/kubelet.conf，配置范围边界为整个集群内

方式二，当然也可以在初始化前，自定义kubeadm-config配置文件，这个有点复杂，具体参考官方文档，https://kubernetes.io/docs/reference/config-api/kubeadm-config.v1beta2/。可以使用 kubeadm config print init-defaults --component-configs [KubeProxyConfiguration KubeletConfiguration] 生成一个默认的，然后再加以修改

在集群中特殊的节点配置指定的参数

通常在初始化完成 & 加入集群之后进行调整，通过调整kubelet的启动参数，如 KUBELET_KUBECONFIG_ARGS

[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/sysconfig/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

比如你需要自定义，集群中node的名称（默认情况下是使用 .metadata.name 即主机的名字）当然你可以使用kubelet参数 --hostname-override覆盖默认值

指定cgroup驱动，现在kubernetes不推荐使用cgroups，则推荐使用systemd成为默认值，具体参数--cgroup-driver，此参数定义的值必须与CRI运行时的环境的值匹配，否则kubelet报错。参考官方文档 https://kubernetes.io/zh/docs/tasks/administer-cluster/kubeadm/configure-cgroup-driver/

指定--network-plugin 容器网络驱动模型，默认情况下kubernetes采用的CNI模型，并永久不更换

kubelet systemd

如果使用yum安装Kubernetes程序，则可以使用以下命令来定位kubelet.service，如下

kubelet.serivce

<root@PROD-BE-K8S-WN18 ~># systemctl status kubelet
● kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
  Drop-In: /usr/lib/systemd/system/kubelet.service.d
           └─10-kubeadm.conf
   Active: active (running) since Mon 2021-12-20 15:06:27 CST; 1 day 20h ago
     Docs: https://kubernetes.io/docs/
 Main PID: 10413 (kubelet)
    Tasks: 43
   Memory: 84.3M
   CGroup: /system.slice/kubelet.service
           └─10413 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-imag...

10-kubelet.conf，该文件是kubelet启动时指定配置文件

# Note: This dropin only works with kubeadm and kubelet v1.11+
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"

# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
# 该文件是在运行kubeadm ini & kubead join 时生成的，用于动态调整KUBELET_KUBEADM_ARGS变量指定的参数
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env

# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
# /etc/sysconfig/kubelet 主要用于配置一些外置参数，比如日志，文件内置变量为KUBELET_EXTAR_ARGS
EnvironmentFile=-/etc/sysconfig/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

该文件为 kubelet 指定由 kubeadm 管理的所有文件的默认位置。

用于 TLS 引导程序的 KubeConfig 文件为 /etc/kubernetes/bootstrap-kubelet.conf，但仅当 /etc/kubernetes/kubelet.conf 不存在时才能使用。
具有唯一 kubelet 标识的 KubeConfig 文件为 /etc/kubernetes/kubelet.conf。
包含 kubelet 的组件配置的文件为 /var/lib/kubelet/config.yaml。
包含的动态环境的文件 KUBELET_KUBEADM_ARGS 是来源于 /var/lib/kubelet/kubeadm-flags.env。
包含用户指定标志替代的文件 KUBELET_EXTRA_ARGS 是来源于 /etc/default/kubelet（对于 DEB），或者 /etc/sysconfig/kubelet（对于 RPM）。 KUBELET_EXTRA_ARGS 在标志链中排在最后，并且在设置冲突时具有最高优先级。

posted @ 2021-12-21 16:37 MacoPlus 阅读(10321) 评论(0) 编辑收藏举报

刷新页面返回顶部

WeChatID as below

ParkLeah

kubelet 配置管理（一）

kubelet说明

kubeadm join过程

加入过程

kubelet配置管理

方案一

方案二

方案三

kubelet systemd

公告

WeChatID as below

ParkLeah

kubelet 配置管理 （一）

kubelet说明

kubeadm join过程

加入过程

kubelet配置管理

方案一

方案二

方案三

kubelet systemd

公告

kubelet 配置管理（一）