rancher页面无法显示pod实时日志

异常现象

       rancher无法通过web页面查看相关pod日志

           

          

 排查步骤

       1.在k8s的主节点上执行查看日志的命令

          kubectl get pods -n smartroom-test

          kubectl logs -f register-85dbdc6df8-nqkc4 -n smartroom-test

           

         在k8s主节点上无法查看其它node上运行的pod的运行日志

        2.在pod运行的主机上查看容器运行的日志

            crictl ps

            crictl logs -f  容器name

          

           在工作节点上是可以正常查看容器运行的日志的

         3.问题分析

            问题出现在k8s主节点调用工作节点服务的时候产生的异常 502 Bad gateway

            登录到相关的工作节点,检查10250端口所在的服务

            netstat -antp | grep 10250  找到相关进程号     lsof -p 进程号  找到进程号对应的系统服务名称

            查看对应系统服务的运行日志

             systemctl status k3s-agent

          

         

           systemctl daemon-reload

           systemctl restart k3s-agent

       

      

       在agent节点找到对应的服务 重启一下即可恢复

   内存分配问题

           

           

           登录远程工作节点 执行free -h 查看当前物理内存占用情况

         

          扩大节点的物理内存即可