记一次线上CPU100%排查过程
引言
不知道在大家面试中,有没有遇到这个问题:
生产服务器上部署了几个java程序,突然出现了CPU100%的异常告警,你如何定位出问题呢?
这个问题分为两版回答!
高调版
对不起,我是做研发的,这个问题在生产上是不可能遇见的!因为研发是不可能直接操作生产服务器,如果贵公司能出现这个问题,应该要反思一下自己的权限控制是否合理!
面试官心里活动
:装13是不是,赶紧走!
低调版
这个问题我在生产上没碰到过,因为我们是没法直接操作生产环境的。只能说,在测试环境曾经遇见过。操作步骤如下,balabala…
面试官心里活动
:权限控制的不错,应该是在大厂呆过。
下面开始我们的正文
正文
下面给出两种系统下的排查步骤,都是一模一样的,只是命令稍有区别!
-
查消耗cpu最高的进程PID
-
根据PID查出消耗cpu最高的线程号
-
根据线程号查出对应的java线程,进行处理。
准备一行死循环代码:
怎么跑,应该不用我说了,直接教大家怎么查!
windows版
可能有人有疑问,我为什么要说windows版的!因为,我曾经给很多政府部门做过系统。我发现他们用的是windows server,不是linux系统。所有必要说一下!
查消耗cpu最高的进程PID
手边没有windows server机器,我以win 10为例,截图给大家看一下,先调出PID显示项!
然后发现进程PID如下图所示,为10856
接下来呢?
根据PID查出消耗cpu最高的线程号
这里用到微软的工具Process Explorer v16.22,地址如下https://docs.microsoft.com/zh-cn/sysinternals/downloads/process-explorer
如图所示
发现最耗cpu的线程的TId为6616
这是十进制的数据,转成十六进制为19d8
根据线程号查出对应的java线程,进行处理
执行命令,导出进程快照
打开文件 c:/10856.stack,搜索19d8,如下图所示
根据文件就可以看出,我们的TestFor.java
文件第七行一直在跑,至此定位到问题
Linux版
Linux版本,步骤是一模一样的,就是命令换了一下
查消耗cpu最高的进程PID
执行命令
-
执行
top -c
,显示进程运行信息列表。按下P,进程按照cpu使用率排序
如下图所示,PID为3033的进程耗费cpu最高
根据PID查出消耗cpu最高的线程号
执行命令
-
top -Hp 3033
,显示一个进程的线程运行信息列表。按下P,进程按照cpu使用率排序
如下图所示,PID为3034的线程耗费cpu最高
这是十进制的数据,转成十六进制为0xbda
根据线程号查出对应的java线程,进行处理
执行命令,导出进程快照
jstack -l 3033 > ./3033.stack
然后执行,grep命令,看线程0xbda
做了什么
cat 3033.stack |grep 'bda' -C 8
输出如下
至此定位到问题
总结
大家记得一定要去实际操作一次!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构