k8s驱逐篇(2)-kubelet节点压力驱逐

kubelet节点压力驱逐

kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。

基于kubernets v1.17.4

1.什么时候发生驱逐

kubelet结合以下数据项来做出驱逐决定：
（1）驱逐信号；
（2）驱逐策略；
（3）驱逐监测间隔；

1.1 驱逐信号

节点上的memory、nodefs、pid等资源都有驱逐信号，kubelet通过将驱逐信号与驱逐策略进行比较来做出驱逐决定；

驱逐信号列举如下：
（1）memory.available；
（2）nodefs.available；
（3）nodefs.inodesFree；
（4）imagefs.available；
（5）imagefs.inodesFree；
（6）pid.available；

kubelet支持以下文件系统分区：
（1）nodefs：节点的主要文件系统，用于本地磁盘卷、emptyDir、日志存储等。 例如，nodefs包含/var/lib/kubelet/；
（2）imagefs：可选文件系统，供容器运行时存储容器镜像和容器可写层。

1.2 驱逐策略

kubelet节点压力驱逐包括了两种，软驱逐和硬驱逐；

软驱逐

软驱逐机制表示，当node节点的memory、nodefs等资源达到一定的阈值后，需要持续观察一段时间（宽限期），如果期间该资源又恢复到低于阈值，则不进行pod的驱逐，若高于阈值持续了一段时间（宽限期），则触发pod的驱逐。

kubelet软驱逐相关启动参数配置：
（1）eviction-soft：一组软驱逐条件，如memory.available<1.5Gi,nodefs.available<500Mi， 如果驱逐条件持续时长超过对应的驱逐宽限期，则触发pod驱逐；
（2）eviction-soft-grace-period：一组软驱逐宽限期，如memory.available=1m30s,nodefs.available=1m30s；
（3）eviction-max-pod-grace-period：pod被软驱逐时，停止pod中container的最大宽限期，默认值0，单位秒；

硬驱逐

硬驱逐策略没有宽限期，当达到硬驱逐条件时，kubelet会立即触发pod的驱逐，而不是优雅终止。

kubelet硬驱逐相关启动参数配置：
（1）eviction-hard：一组硬驱逐条件，如memory.available<1Mi,nodefs.available<1Mi,nodefs.inodesFree<1，kubelet的默认硬驱逐条件为memory.available<100Mi,nodefs.available<10%,imagefs.available<15%,nodefs.inodesFree<5%；

其他驱逐参数配置

（1）最小驱逐回收--eviction-minimum-reclaim；

在某些情况下，驱逐pod只能回收少量的资源，这可能导致频繁满足驱逐条件而触发驱逐操作；

为了解决上述问题，可以配置--eviction-minimum-reclaim参数，当因某个驱逐信号而触发驱逐，驱逐回收后的资源量不再满足驱逐条件后，会继续回收--eviction-minimum-reclaim参数配置的资源量；

1.3 驱逐监测间隔

如果某一次驱逐逻辑中没有驱逐pod，则会等待10s后再进行下一次的驱逐逻辑轮询调用；

2.驱逐哪些pod

2.1 内存资源

对于因内存资源紧张而发生驱逐时，kubelet根据以下情况来确定pod的驱逐顺序：
（1）pod的实际资源使用量是否超过其请求量，超过的优先被驱逐；
（2）pod的优先级定义（pod.Spec.Priority），值越小越容易被驱逐；
（3）pod实际资源使用量与其请求量的差值大小，差值越小，则越容易被驱逐；

2.2 pid资源

对于因pid资源紧张而发生驱逐时，kubelet根据以下情况来确定pod的驱逐顺序：
（1）pod的优先级定义（pod.Spec.Priority），值越小越容易被驱逐；

2.3 fs资源

2.3.1 有专用imagefs文件系统

对于因可用nodefs大小、nodefs inode资源紧张而发生驱逐时，kubelet根据以下情况来确定pod的驱逐顺序：
（1）pod对于资源的实际使用（包括pod的本地卷与pod中所有容器的日志），实际使用量超过请求量的优先被驱逐；
（2）pod对于资源的实际使用（包括pod的本地卷与pod中所有容器的日志）与其请求量之间的差值大小，差值越小，则越容易被驱逐；

对于因可用imagefs大小、imagefs inode资源紧张而发生驱逐时，kubelet根据以下情况来确定pod的驱逐顺序：
（1）pod容器可写层资源的实际使用，实际使用量超过请求量的优先被驱逐；
（2）pod容器可写层资源的实际使用与其请求量之间的差值大小，差值越小，则越容易被驱逐；

2.3.2 无专用imagefs文件系统

对于因可用fs大小、inode资源紧张而发生驱逐时，kubelet根据以下情况来确定pod的驱逐顺序：
（1）pod对于资源的实际使用（包括pod容器可写层、pod的本地卷与pod中所有容器的日志），实际使用量超过请求量的优先被驱逐；
（2）pod对于资源的实际使用（包括pod容器可写层、pod的本地卷与pod中所有容器的日志）与其请求量之间的差值大小，差值越小，则越容易被驱逐；

关于是否有专用imagefs文件系统的判断

当nodefs（kubelet的根文件系统）与imagefs（docker镜像存储的文件系统）所在分区相同时，判断为无专用imagefs文件系统，否则判断为有专用imagefs文件系统；

总结一下就是，nodefs是kubelet启动参数--root-dir目录所在分区，imagefs是docker安装目录所在的分区；

3.怎么驱逐pod

pod驱逐流程

（1）根据kubelet启动参数配置，获取驱逐策略配置；
（2）从cAdvisor、CRIRuntimes获取各种统计信息，如节点上各个资源的总量以及使用量情况、容器的资源声明及使用量情况等；
（3）比对驱逐策略配置以及上述的各种资源统计信息，筛选出会触发驱逐的驱逐信号；
（4）将上面筛选出来的驱逐信号做排序，将内存驱逐信号排在所有其他信号之前，并从排序后的结果中取出第一个驱逐信号；
（5）主动尝试回收fs、inode资源，如果回收的资源足够，则直接return，不需要往下执行驱逐pod的逻辑；
（6）根据最终筛选出来的那一个驱逐信号，使用对应的排序函数给pod列表进行排序；
（7）遍历排序后的pod列表，尝试驱逐pod；

几个注意点：
（1）每次的驱逐流程，最多只驱逐一个pod；
（2）一次驱逐流程完成后，如果本次流程有驱逐pod，则马上继续循环执行pod驱逐流程，如果本次驱逐流程没有驱逐pod，则等待10s后再循环执行pod驱逐流程；
（3）驱逐pod，只是将pod.status.phase值更新为Failed，并附上驱逐reason：Evicted以及触发驱逐的详细信息，不会删除pod；而pod.status.phase值被更新为Failed后，replicaset controller会再次创建出新的pod调用到其他节点上，达到驱逐pod的效果；

主动尝试回收fs、inode资源

当因fs、inode资源紧张而需要驱逐pod时，会在驱逐pod之前，先尝试主动回收fs、inode资源；

有专用imagefs文件系统

对于因可用nodefs大小、nodefs inode资源紧张而发生驱逐时，不会触发主动回收fs、inode资源；

对于因可用imagefs大小、imagefs inode资源紧张而发生驱逐时，会触发下列操作来主动回收fs、inode资源：
（1）删除已停止的容器；
（2）删除没有被使用的容器镜像；

无专用imagefs文件系统

对于因可用fs大小、fs inode资源紧张而发生驱逐时，会触发下列操作来主动回收fs、inode资源：
（1）删除已停止的容器；
（2）删除没有被使用的容器镜像；

总结

kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。

本篇文章从什么时候发生驱逐、驱逐哪些pod、怎么驱逐pod三个角度对kubelet节点压力驱逐进行了分析。

下一篇将对kubelet节点压力驱逐做一下源码分析。