Kubernetes重启策略+健康检查详解

Pod中的容器数	Pod状态	发生事件	不同重启策略下的结果状态
Pod中的容器数	Pod状态	发生事件	Always	OnFailure	Never
包含一个容器	Running	容器成功退出	Running	Succeeded	Succeeded
包含一个容器	Running	容器失败退出	Running	Running	Failed
包含两个容器	Running	1个容器失败退出	Running	Running	Running
包含两个容器	Running	容器内存溢出挂掉	Running	Running	Failed

回到顶部

四、Pod 的活性与就绪探针

1、Pod 探针机制

　　在 Kubernetes 中 Pod 是最小的计算单元，而一个 Pod 又由多个容器组成，相当于每个容器就是一个应用，应用在运行期间，可能因为某也意外情况致使程序挂掉。那么如何监控这些容器状态稳定性，保证服务在运行期间不会发生问题，发生问题后进行重启等机制，就成为了重中之重的事情，考虑到这点 kubernetes 推出了活性探针机制。

　　有了活性探针后能保证程序在运行中如果挂掉能够自动重启，但是还有个经常遇到的问题，比如说，在 Kubernetes 中启动 Pod，显示明明 Pod 已经启动成功，且能访问里面的端口，但是却返回错误信息。还有就是在执行滚动更新时候，总会出现一段时间，Pod 对外提供网络访问，但是访问却发生 404，这两个原因，都是因为 Pod 已经成功启动，但是 Pod 的的容器中应用程序还在启动中导致，考虑到这点 Kubernetes 推出了就绪探针机制。

2、Pod 两种探针简介

LivenessProbe（存活探针）： 存活探针主要作用是，用指定的方式进入容器检测容器中的应用是否正常运行，如果检测失败，则认为容器不健康，那么 Kubelet 将根据 Pod 中设置的 restartPolicy （重启策略）来判断，Pod 是否要进行重启操作，如果容器配置中没有配置 livenessProbe 存活探针，Kubelet 将认为存活探针探测一直为成功状态。
ReadinessProbe（就绪探针）： 用于判断容器中应用是否启动完成，当探测成功后才使 Pod 对外提供网络访问，设置容器 Ready 状态为 true，如果探测失败，则设置容器的 Ready 状态为 false。对于被 Service 管理的 Pod，Service 与 Pod、EndPoint 的关联关系也将基于 Pod 是否为 Ready 状态进行设置，如果 Pod 运行过程中 Ready 状态变为 false，则系统自动从 Service 关联的 EndPoint 列表中移除，如果 Pod 恢复为 Ready 状态。将再会被加回 Endpoint 列表。通过这种机制就能防止将流量转发到不可用的 Pod 上。

3、Pod 探针的探测方式与结果

目前 LivenessProbe 和 ReadinessProbe 两种探针都支持下面三种探测方法：

ExecAction：在容器中执行指定的命令，如果执行成功，退出码为 0 则探测成功。
HTTPGetAction：通过容器的IP地址、端口号及路径调用 HTTP Get方法，如果响应的状态码大于等于200且小于400，则认为容器健康。
TCPSocketAction：通过容器的 IP 地址和端口号执行 TCP 检查，如果能够建立 TCP 连接，则表明容器健康。

探针探测结果有以下值：

Success：表示通过检测。
Failure：表示未通过检测。
Unknown：表示检测没有正常进行。

4、Pod 探针的相关属性

探针(Probe)有许多可选字段，可以用来更加精确的控制Liveness和Readiness两种探针的行为(Probe)：

initialDelaySeconds： Pod 启动后首次进行检查的等待时间，单位“秒”。
periodSeconds：检查的间隔时间，默认为 10s，单位“秒”。
timeoutSeconds：探针执行检测请求后，等待响应的超时时间，默认为 1s，单位“秒”。
successThreshold：探针检测失败后认为成功的最小连接成功次数，默认为 1s，在 Liveness 探针中必须为 1s，最小值为 1s。
failureThreshold：探测失败的重试次数，重试一定次数后将认为失败，在 readiness 探针中，Pod会被标记为未就绪，默认为 3s，最小值为 1s。

5、两种探针的区别

ReadinessProbe 和 livenessProbe 可以使用相同探测方式，只是对 Pod 的处置方式不同：

readinessProbe 当检测失败后，将 Pod 的 IP:Port 从对应的 EndPoint 列表中删除。
livenessProbe 当检测失败后，将杀死容器并根据 Pod 的重启策略来决定作出对应的措施。

回到顶部

五、探针使用示例

1、LivenessProbe 探针使用示例

1）通过exec方式做健康探测

示例文件 liveness-exec.yaml

apiVersion: v1
kind: Pod
metadata:
  name: liveness-exec
  labels:
    app: liveness
spec:
  containers:
  - name: liveness
    image: busybox
    args:                       #创建测试探针探测的文件
    - /bin/sh
    - -c
    - touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600
    livenessProbe:
      initialDelaySeconds: 10   #延迟检测时间
      periodSeconds: 5          #检测时间间隔
      exec:
        command:
        - cat
        - /tmp/healthy

查看Pod日志详情

[root@k8s-master yaml]# kubectl describe pod liveness-exec
Events:
  Type     Reason     Age                    From                Message
  ----     ------     ----                   ----                -------
  Normal   Scheduled  7m4s                                       Successfully assigned default/liveness-exec to k8s-node1
  Normal   Pulled     6m47s                  kubelet, k8s-node1  Successfully pulled image "busybox" in 16.176728723s
  Normal   Pulled     5m20s                  kubelet, k8s-node1  Successfully pulled image "busybox" in 15.640787963s
  Normal   Created    3m50s (x3 over 6m47s)  kubelet, k8s-node1  Created container liveness
  Normal   Started    3m50s (x3 over 6m47s)  kubelet, k8s-node1  Started container liveness
  Normal   Pulled     3m50s                  kubelet, k8s-node1  Successfully pulled image "busybox" in 15.626708424s
  Normal   Killing    3m6s (x3 over 6m6s)    kubelet, k8s-node1  Container liveness failed liveness probe, will be restarted
  Normal   Pulling    2m35s (x4 over 7m4s)   kubelet, k8s-node1  Pulling image "busybox"
  Warning  Unhealthy  2m1s (x10 over 6m16s)  kubelet, k8s-node1  Liveness probe failed: cat: can't open '/tmp/healthy': No such file or directory
[root@k8s-master yaml]# kubectl get pods -o wide
NAME                     READY   STATUS    RESTARTS   AGE    IP             NODE        NOMINATED NODE   READINESS GATES
liveness-exec            1/1     Running   4          7m8s   10.244.36.75   k8s-node1   <none>           <none>

容器在初始化后，首先创建一个 /tmp/healthy 文件，然后执行睡眠命令，睡眠 30 秒，到时间后执行删除 /tmp/healthy 文件命令。而设置的存活探针检检测方式为执行 shell 命令，用 cat 命令输出 healthy 文件的内容，如果能成功执行这条命令，存活探针就认为探测成功，否则探测失败。在前 30 秒内，由于文件存在，所以存活探针探测时执行 cat /tmp/healthy 命令成功执行。30 秒后 healthy 文件被删除，所以执行命令失败，Kubernetes 会根据 Pod 设置的重启策略来判断，是否重启 Pod。

2）通过HTTP方式做健康探测

示例文件 liveness-http.yaml

apiVersion: v1
kind: Pod
metadata:
  name: liveness-http
  labels:
    test: liveness
spec:
  containers:
  - name: liveness
    image: wuxinchun/springboot-helloworld:v1
    livenessProbe:
      initialDelaySeconds: 20   #延迟加载时间
      periodSeconds: 5          #重试时间间隔
      timeoutSeconds: 10        #超时时间设置
      httpGet:
        scheme: HTTP
        port: 8081
        path: /actuator/healthtest  #这是测试path，正确的地址为:/actuator/health

查看Pod日志

[root@k8s-master yaml]# kubectl describe pod liveness-http
Events:
  Type     Reason     Age                  From                Message
  ----     ------     ----                 ----                -------
  Normal   Scheduled  2m28s                                    Successfully assigned default/liveness-http to k8s-node1
  Normal   Pulled     46s (x4 over 2m28s)  kubelet, k8s-node1  Container image "mydlqclub/springboot-helloworld:0.0.1" already present on machine
  Normal   Created    46s (x4 over 2m28s)  kubelet, k8s-node1  Created container liveness
  Normal   Killing    46s (x3 over 116s)   kubelet, k8s-node1  Container liveness failed liveness probe, will be restarted
  Normal   Started    45s (x4 over 2m28s)  kubelet, k8s-node1  Started container liveness
  Warning  Unhealthy  21s (x10 over 2m6s)  kubelet, k8s-node1  Liveness probe failed: HTTP probe failed with statuscode: 404
[root@k8s-master yaml]# kubectl get pods -o wide
NAME                     READY   STATUS    RESTARTS   AGE     IP             NODE        NOMINATED NODE   READINESS GATES
liveness-http            1/1     Running   4          2m33s   10.244.36.77   k8s-node1   <none>           <none>
nginx-6799fc88d8-s4nqr   1/1     Running   0          3d3h    10.244.36.65   k8s-node1   <none>           <none>

上面 Pod 中启动的容器是一个 SpringBoot 应用，其中引用了 Actuator 组件，提供了 /actuator/health 健康检查地址，存活探针可以使用 HTTPGet 方式向服务发起请求，请求 8081 端口的 /actuator/health 路径来进行存活判断：

任何大于或等于200且小于400的代码表示探测成功。
任何其他代码表示失败。

如果探测失败，则会杀死 Pod 进行重启操作。

httpGet探测方式有如下可选的控制字段:

scheme: 用于连接host的协议，默认为HTTP。
host：要连接的主机名，默认为Pod IP，可以在http request head中设置host头部。
port：容器上要访问端口号或名称。
path： http服务器上的访问URI。
httpHeaders：自定义HTTP请求headers，HTTP允许重复headers。

3）通过TCP方式做健康探测

示例文件 liveness-tcp.yaml

apiVersion: v1
kind: Pod
metadata:
  name: liveness-tcp
  labels:
    app: liveness
spec:
  containers:
  - name: liveness
    image: nginx
    livenessProbe:
      initialDelaySeconds: 15   #执行第一次探测之前等待15秒
      periodSeconds: 20         #每20秒执行一次活跃度探测
      tcpSocket:
        port: 81                #测试端口81，实际端口为80

查看Pod日志

[root@k8s-master yaml]# kubectl describe pod liveness-tcp
Events:
  Type     Reason     Age               From                Message
  ----     ------     ----              ----                -------
  Normal   Scheduled  77s                                   Successfully assigned default/liveness-tcp to k8s-node1
  Normal   Pulled     72s               kubelet, k8s-node1  Successfully pulled image "nginx" in 4.873943634s
  Normal   Created    72s               kubelet, k8s-node1  Created container liveness
  Normal   Started    72s               kubelet, k8s-node1  Started container liveness
  Normal   Pulling    4s (x2 over 77s)  kubelet, k8s-node1  Pulling image "nginx"
  Warning  Unhealthy  4s (x3 over 44s)  kubelet, k8s-node1  Liveness probe failed: dial tcp 10.244.36.79:81: connect: connection refused
  Normal   Killing    4s                kubelet, k8s-node1  Container liveness failed liveness probe, will be restarted      #探针检测失败尝试重启容器
[root@k8s-master yaml]# kubectl get pods -o wide
NAME                     READY   STATUS    RESTARTS   AGE    IP             NODE        NOMINATED NODE   READINESS GATES
liveness-tcp             1/1     Running   0          83s    10.244.36.79   k8s-node1   <none>           <none>

TCP 检查方式和 HTTP 检查方式非常相似，在容器启动 initialDelaySeconds 参数设定的时间后，kubelet 将发送第一个 livenessProbe 探针，尝试连接容器的 80 端口，如果连接失败则将杀死 Pod 重启容器。

2、ReadinessProbe 探针使用示例

Pod 的 ReadinessProbe 探针使用方式和 LivenessProbe 探针探测方法一样，也是支持三种，只是一个是用于探测应用的存活，一个是判断是否对外提供流量的条件。这里用一个 Springboot 项目，设置 ReadinessProbe 探测 SpringBoot 项目的 8081 端口下的 /actuator/health 接口，如果探测成功则代表内部程序以及启动，就开放对外提供接口访问，否则内部应用没有成功启动，暂不对外提供访问，直到就绪探针探测成功。

示例文件 readiness-exec.yaml

apiVersion: v1
kind: Service
metadata:
  name: springboot
  labels:
    app: springboot
spec:
  type: NodePort
  ports:
  - name: server
    port: 8080
    targetPort: 8080
    nodePort: 31180
  - name: management
    port: 8081
    targetPort: 8081
    nodePort: 31181
  selector:
    app: springboot
---
apiVersion: v1
kind: Pod
metadata:
  name: springboot
  labels:
    app: springboot
spec:
  containers:
  - name: springboot
    image: wuxinchun/springboot-helloworld:v1
    ports:
    - name: server
      containerPort: 8080
    - name: management
      containerPort: 8081
    readinessProbe:
      initialDelaySeconds: 20   
      periodSeconds: 5          
      timeoutSeconds: 10   
      httpGet:
        scheme: HTTP
        port: 8081
        path: /actuator/healthtest     #测试地址，实际path为：/actuator/health

查看日志

[root@k8s-master yaml]# kubectl describe pod springboot
Events:
  Type     Reason     Age                  From                Message
  ----     ------     ----                 ----                -------
  Normal   Scheduled  20m                                      Successfully assigned default/springboot to k8s-node1
  Normal   Pulled     20m                  kubelet, k8s-node1  Container image "mydlqclub/springboot-helloworld:0.0.1" already present on machine
  Normal   Created    20m                  kubelet, k8s-node1  Created container springboot
  Normal   Started    20m                  kubelet, k8s-node1  Started container springboot
  Warning  Unhealthy  53s (x237 over 20m)  kubelet, k8s-node1  Readiness probe failed: HTTP probe failed with statuscode: 404
[root@k8s-master yaml]# kubectl get ep
NAME         ENDPOINTS          AGE
springboot                      21m

readinessProbe探测失败，会将 Pod 的 IP:Port 从对应的 EndPoint 列表中删除

3、ReadinessProbe + LivenessProbe 配合使用示例

一般程序中需要设置两种探针结合使用，并且也要结合实际情况，来配置初始化检查时间和检测间隔，下面列一个简单的 SpringBoot 项目的 Deployment 例子。

apiVersion: v1
kind: Service
metadata:
  name: springboot
  labels:
    app: springboot
spec:
  type: NodePort
  ports:
    - name: server
      port: 8080
      targetPort: 8080
      nodePort: 31180
    - name: management
      port: 8081
      targetPort: 8081
      nodePort: 31181
  selector:
    app: springboot
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: springboot
  labels:
    app: springboot
spec:
  replicas: 1
  selector:
    matchLabels:
      app: springboot
  template:
    metadata:
      name: springboot
      labels:
        app: springboot
    spec:
      containers:
        - name: readiness
          image: wuxinchun/springboot-helloworld:v1
          ports:
            - name: server
              containerPort: 8080
            - name: management
              containerPort: 8081
          readinessProbe:
            initialDelaySeconds: 20
            periodSeconds: 5
            timeoutSeconds: 10
            httpGet:
              scheme: HTTP
              port: 8081
              path: /actuator/health
          livenessProbe:
            initialDelaySeconds: 30
            periodSeconds: 10
            timeoutSeconds: 5
            httpGet:
              scheme: HTTP
              port: 8081
              path: /actuator/health