阿里云edas生产环境pod异常无法删除故障处理

edas上面的应用prod-rig-portal进行发布，发布后有一个pod不停重启，阿里云后台报错页面如下

 

 

 

 

 

 

 

在阿里云后台使用容器服务控制台

 

 

 在node节点进行查看

 

 

 此pod：prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-5cb6cft5lk一直处于Terminating状态

 

使用命令强制删除
[root@iZbp18swm1hqewjwhm0eh8Z .kube]# kubectl delete pods prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-5cb6cft5lk
pod "prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-5cb6cft5lk" deleted
[root@iZbp18swm1hqewjwhm0eh8Z .kube]# kubectl get pod|grep prod-rig-portal
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-5cb6cpk7rr 0/1 Running 3 7m42s
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-68578g2d47 1/1 Running 1 130d
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-68578nxhpz 1/1 Running 1 130d
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-68578rmddr 1/1 Running 1 130d

删除过后还是会出现
[root@iZbp18swm1hqewjwhm0eh8Z .kube]# kubectl get pod|grep prod-rig-portal
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-5cb6cpk7rr 0/1 Running 3 7m43s
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-68578g2d47 1/1 Running 1 130d
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-68578nxhpz 1/1 Running 1 130d
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-68578rmddr 1/1 Running 1 130d

查看deployment控制为正常

、

最后使用回滚的方法解决此问题
查看历史记录
[root@k8s .kube]# kubectl rollout history deployment prod-rig-portal-eecd-41b8-89ca-20ed76053ec2
deployment.extensions/prod-rig-portal-eecd-41b8-89ca-20ed76053ec2 
REVISION  CHANGE-CAUSE
1         <none>                  第1次发布的版本
2         <none>                  第2次发布的版本
3         <none>                  第3次发布的版本
4         <none>                  第4次发布的版本
5         <none>                  第5次发布的版本
6         <none>                  第6次发布的版本
7         <none>                  第7次发布的版本
10        <none>                  第8次发布的版本
11        <none>                  第9次发布的版本，默认不指定版本数回滚到的就是次版本，为上一版本
12        <none>                  第10次发布的版本，次为当前运行的版本

使用命令直接回滚到上一个版本解决此故障
kubectl rollout undo deployment prod-rig-portal-eecd-41b8-89ca-20ed76053ec2

最后检查恢复正常
[root@iZbp18swm1hqewjwhm0eh8Z ~]# kubectl get pods|grep prod-rig-portal
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-68578g2d47   1/1     Running   1          130d
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-68578nxhpz   1/1     Running   1          130d
prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-68578rmddr   1/1     Running   1          130d

 

 

#不指定版本号进行回滚方法
kubectl rollout undo deployment prod-rig-portal-eecd-41b8-89ca-20ed76053ec22

#指定版本号回滚到上一本方法1
[root@k8s .kube]#kubectl scale deployment prod-rig-portal-eecd-41b8-89ca-20ed76053ec22 --replicas=11

滚动更新可以根据image来确定发布的版本号是哪个版本    
kubectl rollout history deployment deployment控制器内存 --revision=指定发布的版本号
kubectl rollout history deployment prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2 --revision=1
[root@iZbp18swm1hqewjwhm0eh8Z .kube]# kubectl rollout history deployment prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2 --revision=1|grep Image
    Image:    registry-vpc.cn-hangzhou.aliyuncs.com/edas-serverless-user/1652870413157540_shared_repo:d7f604d8-eecd-41b8-89ca-20ed76053ec2_1576553394800

[root@iZbp18swm1hqewjwhm0eh8Z .kube]# kubectl rollout history deployment prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2 --revision=2|grep Image
    Image:    registry-vpc.cn-hangzhou.aliyuncs.com/edas-serverless-user/1652870413157540_shared_repo:d7f604d8-eecd-41b8-89ca-20ed76053ec2_1576656853618
    
[root@iZbp18swm1hqewjwhm0eh8Z .kube]# kubectl rollout history deployment prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2 --revision=3|grep Image
    Image:    registry-vpc.cn-hangzhou.aliyuncs.com/edas-serverless-user/1652870413157540_shared_repo:d7f604d8-eecd-41b8-89ca-20ed76053ec2_1577200301017
    
[root@iZbp18swm1hqewjwhm0eh8Z .kube]# kubectl rollout history deployment prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2 --revision=4|grep Image
    Image:    registry-vpc.cn-hangzhou.aliyuncs.com/edas-serverless-user/1652870413157540_shared_repo:d7f604d8-eecd-41b8-89ca-20ed76053ec2_1578564659099
上面4条列子可以根据最后的1576553394800、1576656853618、1577200301017、1578564659099数字来判断哪个是最大的版本，
1的是1576553394800
2的是1576656853618
3的是1577200301017
4的是1578564659099
可以看到后面的发布数字是越来越大