cpu过高问题排查

问题排查总结

最近一段时间 某台服务器上的一个应用总是隔一段时间就自己挂掉 用top看了看 从重新部署应用开始没有多长时间CPU占用上升得很快。top命令很快就找到了某个java进程占用过高。

排查步骤

1、使用top定位到占用cpu过高的进行PID

top

2、通过ps aux | grep PID命令

ps -mp pid -o THREAD,tid,time | sort -rn

3、将需要的线程ID转换为16进制格式

printf "%x\n" tid

4、打印线程的堆栈信息 到了这一步具体看堆栈的日志来定位问题了

jstack pid |grep tid -A 30

案例如下：

1.top 可以看出PID 733进程 的占用CPU 172%

2.查找进程733下的线程 可以看到TID 线程775占用了96%且持有了很长时间 其实到这一步基本上能猜测到应该是 肯定是那段代码发生了死循环

ps -mp 733 -o THREAD,tid,time | sort -rn

3.线程ID转换为16进制格式

printf "%x\n" 775

4.查看java 的堆栈信息

jstack 733 |grep 307 -A 30

显然是 SmsQueueServiceImpl 中的produceMissSms 和 consumeMissSms 方法有问题

和开发一起研究了一下这些代码，最后开发说应用一启动的时候 spring初始化的就会执行这一段处理丢失消息的代码 然后这段死循环代码 没有任何作用

解决方法 即 注释掉whlie(true)这一段代码

重新部署后 cpu占用就很正常了