K8S生产环境故障排查一（POD和节点问题排查）

一、POD启动异常、部分节点无法启动pod
容器里管理应用

pod是k8S中最小调度单元,POD里面的容器共享pod的空间、资源、网络、存储等。
pod管理一个容器。
pod管理多个容器
pod出现异常的原因：
1、资源过剩： 大量POD在同一个物理节点，出现资源占用太多导致物理节点宕机。

2、内存和CPU超标：pod中的应用出现内存泄露，导致pod内存迅速增多，pod kill 了影响节点正常提供服务。（解决办法：压测占用多少内存和CPU，做资源限制；）

3、网络问题：导致POD无法通信（解决办法：检查calico网络插件情况）

4、存储问题：pod挂载的共享存储连接不上导致pod启动异常(解决办法：查看共享存储是否正常,存储卷是否正常)

5、代码问题：应用程序代码在容器启动后失败（解决办法：排查应用程序代码）

6、配置问题：在部署deployment和statefulset时，资源清单编写有问题，导致pod无法正常创建(解决办法：查看资源配置的清单)

7、借助监控系统排查以上问题。

POD架构：

 

 

 

查看pause容器是否存在

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

K8S排查问题的4个万金油命令：

 

 

 

查看POD的日志

 

 

 

 

 

查看POD中容器的日志

故障一思路：网络问题导致部分节点pod一直处于ContainerCreating 的状态
1、先查看状态：

 

 

 

 

2、创建nginx的pod,如果也出问题，k8s-node1节点出问题。否则检查tomcat pod本身。

3、如果是节点问题，则迁移节点上running的应用到其他节点。再执行重置k8s的初始化工作回复该节点。

 

 

 

 

 

故障二思路：存储问题导致部分节点pod一直处于ContainerCreating 的状态

 

 

 

查看POD日志：kubectl logs jenkins-856b77795f-hcj89 -n jenkins-k8s
查看K8S日志：journalctl -f -u kubelet

 

 

 

 

查看PV和PVC的清单，或者PV被其他应用占用无法绑定。

 

二、POD状态异常排查问题集

三、POD健康检查：存活性探测、就绪性探测

四、K8S关键部位故障：容器状态异常

五、token验证问题、执行异常