（转）线上linux系统故障排查之一：CPU使用率过高
原文：https://www.jianshu.com/p/6d573e42310a
一、通过top命令定位占用cpu高的进程
执行top命令得到以下结果：
通过上图可以明显看出进程PID41843占用cpu过高，明显存在问题，定位到了进程id。当然如果你想只观察进程PID41843的CPU和内存以及负载情况，可以使用以下命令
top -p 41843。
结果如下：
这里顺便解释下上图各个参数的意义，有利于读者更好的排查问题。
- 第一行是任务队列信息
top - 14:06:34 up 537 days, 6 min, 6 users, load average: 0.41, 0.45, 0.43
| 任务队列信息 | 含义 |
|---|---|
| 14:06:34 | 当前时间 |
| 537 days | 系统运行时间 |
| 6 min | 用户在线时间 |
| 6 users | 在线用户数 |
| load average: 0.41, 0.45, 0.43 | 系统负载，即任务队列的平均长度。1分钟前、5分钟前、15分钟前平均负载 |
2)第二行为进程的信息
| 进程信息 | 含义 |
|---|---|
| Tasks: 1 total | 进程总数 |
| 0 running | 正在运行的进程数 |
| 1 sleeping | 睡眠的进程数 |
| 0 stopped | 停止的进程数 |
| 0 zombie | 僵尸进程数 |
- 第三行为cpu信息
| cpu信息 | 含义 |
|---|---|
| 6.1% us | 用户空间占用CPU百分比 |
| 1.5% sy | 内核空间占用CPU百分比 |
| 0.0% ni | 用户进程空间内改变过优先级的进程占用CPU百分比 |
| 92.2% id | 空闲CPU百分比 |
| 0.0% wa | 等待输入输出的CPU时间百分比 |
| 0.0% hi | 硬件中断 |
| 0.0% si | 软件中断 |
| 0.0%st | 实时 |
- 第四、五行为内存信息。
内容如下：
| 物理内存信息 | 含义 |
|---|---|
| Mem: 191272k total | 物理内存总量 |
| 173656k used | 使用的物理内存总量 |
| 17616k free | 空闲内存总量 |
| 22052k buffers | 用作内核缓存的内存量 |
| 交换区信息 | 含义 |
|---|---|
| Swap: 192772k total | 交换区总量 |
| 0k used | 使用的交换区总量 |
| 192772k free | 空闲交换区总量 |
| 123988k cached | 缓冲的交换区总量 |
二、通过top命令定位问题进程中每个线程占用cpu情况
通过问题进程中每个线程占用cpu情况使用可以使用如下命令：
top -p 41843 -H
查看进程PID41843的每一个线程占用CPU情况，如图。
由上图明显可以发现，线程PID41892CPU占用率最高，接下来定位该线程的代码是否出现异常导致cpu占用过高。
三、通过jstack 命令定位问题代码
上一步发现PID41892占用的CPU过高，就将这个PID转换成16进制，易知，PID41892转化成16进制为a3a4。使用如下命令命令定位问题代码：
jstack 41892 | grep a3a4
输出如下：
"Thread" prio=10 tid=0x00007f950043e000 nid=0x54ee in test()；
可以分析得到： 线程Thread下的wait()函数cpu使用率很高，查看源代码中的test()函数代码如下：
public void test(){
while(true){
for(int i = 0 ;i<100;i++);
}
}
while循环无法结束，一直抢占cpu，导致程序cpu使用过高，修改代码即可。
到此为止，因为代码问题导致的cpu使用过高的故障排查方法就介绍完了。
tips:由于内存的原因，频繁的GC，也可能导致cpu使用过高，内存的解决方案在文章《线上linux系统故障排查之二：内存占用过高》中介绍。
四、终极大杀器
笔者是喜欢一、二、三步骤定位cpu使用率过高的问题，但是如果读者觉得以上方法不喜欢或者以上无法定位问题时，可以使用jstack方法获取进程PID41843包含的运行线程的所有状态。使用如下命令：
jstack -l 41843
或者将结果输入在dump.txt文档中：jstack -l 41843 >> dump.txt
首先我们来介绍下，Jstack的输出中，Java线程状态的四种状态的概念：
RUNNABLE 线程运行中或I/O等待
BLOCKED 线程在等待monitor锁(synchronized关键字)
TIMED_WAITING 线程在等待唤醒，但设置了时限
WAITING 线程在无限等待唤醒
接下来用简单的代码模拟这4种状态的发生，同时介绍下问题的排查方法。
1） 让线程一直处于RUNNABLE状态
public static void main(String[] args) {
printPId();//打印进程id
runnable();//模拟RUNNABLE状态方法，第14行
}
public static void runnable(){//第19行
int i = 0;
while (true) {
i++;
}
}
public static void printPId() {
String name = ManagementFactory.getRuntimeMXBean().getName();
System.out.println(name.split("@")[0]);
}
执行main函数，使用命令jstack -l PID(pid为printPId函数打印的值)，得到以下输出信息：状态为RUNNABLE，程序在Test类的runnable()方法中占用cpu，一般该状态不会出现问题。但是如果多次执行该命令，发现cpu在持续执行该方法，且cpu使用过高，可以排查runnable()方法是否存在死循环等持续占用cpu的情况。
"main" #1 prio=5 os_prio=0 tid=0x00000000023fe000 nid=0x2ab8 runnable [0x0000000
0026df000]
java.lang.Thread.State: RUNNABLE
at Test.runnable(Test.java:19)
at Test.main(Test.java:14)
Locked ownable synchronizers:
-None
2） 让线程一直处于BLOCKED状态（重点关注）
public static void main(String[] args) {
printPId();//打印进程id
blocked();//模拟BLOCKED状态方法，第16行
}
public static void blocked(){
Integer lock = 0;
new Thread() {
public void run() {
synchronized (lock) {
try {
Thread.sleep(1000 * 1000);//26行
} catch (Exception e) {
e.printStackTrace();
}
}
}
}.start();
try { Thread.sleep(100); } catch (Exception e) {e.printStackTrace();}
synchronized (lock) {
try {
Thread.sleep(10 * 1000);//第37行
} catch (Exception e) {
e.printStackTrace();
}
}
}
public static void printPId() {
String name = ManagementFactory.getRuntimeMXBean().getName();
System.out.println(name.split("@")[0]);
}
主线程sleep，先让另外一个线程拿到lock，并长期持有lock（sleep会持有锁，wait不会）。此时主线程会BLOCK住等待lock被释放，此时jstack的输出可以看到main线程状态是BLOCKED。
根据以下输出可以看出：
1）线程状态是 Blocked，阻塞状态。说明线程等待资源超时！
2）“ waiting to lock <0x00000000d6f7a970>”，指该地址被占用了，线程在等待给这个 0x00000000d6f7a970地址上锁。
3）在 dump 日志里查找字符串 0x00000000d6f7a970，如果发现有大量线程都在等待给这个地址上锁。则存在问题。继续查找字符串0x00000000d6f7a970，发现locked <0x00000000d6f7a970> (a java.lang.Integer)给地址上锁，却未释放，查找该出代码问题。
4）“waiting for monitor entry”说明此线程通过 synchronized(obj) {……} 申请进入了临界区。
5）第一行里，"main"是 Thread Name 。tid指Java Thread id。nid指native线程的id。prio是线程优先级。[0x00000000027af000]是线程栈起始地址。
"main" #1 prio=5 os_prio=0 tid=0x000000000244e000 nid=0x2218 waiting for monitor
entry [0x00000000027af000]
java.lang.Thread.State: BLOCKED (on object monitor)
at Test.blocked(Test.java:37)
-waiting to lock <0x00000000d6f7a970> (a java.lang.Integer)
at Test.main(Test.java:16)
Locked ownable synchronizers:
-None
"Thread-0" #10 prio=5 os_prio=0 tid=0x0000000058893800 nid=0x1cc8 waiting on con
dition [0x00000000599ae000]
java.lang.Thread.State: TIMED_WAITING (sleeping)
at java.lang.Thread.sleep(Native Method)
at Test$1.run(Test.java:26)
-locked <0x00000000d6f7a970> (a java.lang.Integer)
Locked ownable synchronizers:
-None
3） 让线程处于TIMED_WAITING状态
public static void main(String[] args) {
printPId();//打印进程id
timedWaiting();//模拟TIMED_WAITING状态方法
}
public static void timedWaiting() {
Integer lock = 0;
synchronized (lock) {
try {
lock.wait(100 * 1000);
} catch (Exception e) {
e.printStackTrace();
}
}
}
public static void printPId() {
String name = ManagementFactory.getRuntimeMXBean().getName();
System.out.println(name.split("@")[0]);
}
根据以下输出可以看出：
1）“TIMED_WAITING ”中的 timed_waiting 指等待状态，但这里指定了时间，到达指定的时间后自动退出等待状态。
"main" #1 prio=5 os_prio=0 tid=0x0000000001c1e000 nid=0x1c78 in Object.wait() [0
x000000000272f000]
java.lang.Thread.State: TIMED_WAITING (on object monitor)
at java.lang.Object.wait(Native Method)
-waiting on <0x00000000d6f7a970> (a java.lang.Integer)
at Test.timedWaiting(Test.java:25)
-locked <0x00000000d6f7a970> (a java.lang.Integer)
at Test.main(Test.java:18)
Locked ownable synchronizers:
-None
4） 让线程处于WAITING状态状态
public static void main(String[] args) {
printPId();//打印进程id
waiting();//模拟waiting状态方法
}
public static void waiting() {
Integer lock = 0;
synchronized (lock) {
try {
lock.wait();
} catch (Exception e) {
e.printStackTrace();
}
}
}
public static void printPId() {
String name = ManagementFactory.getRuntimeMXBean().getName();
System.out.println(name.split("@")[0]);
}
无超时的等待，必须等待lock.notify()或lock.notifyAll()或接收到interrupt信号才能退出等待状态。同理，ReentrantLock.lock()的无参方法调用，也会使线程状态变成WAITING。
"main" #1 prio=5 os_prio=0 tid=0x00000000024ce000 nid=0x2b14 in Object.wait() [0
x00000000025ef000]
java.lang.Thread.State: WAITING (on object monitor)
at java.lang.Object.wait(Native Method)
-waiting on <0x00000000d6f7a970> (a java.lang.Integer)
at java.lang.Object.wait(Unknown Source)
at Test.waiting(Test.java:27)
-locked <0x00000000d6f7a970> (a java.lang.Integer)
at Test.main(Test.java:20)
Locked ownable synchronizers:
-None
