JVM性能监控与优化笔记(CPU)
基础
对于CPU层面的监控主要以下几个点：
- 是否系统态CPU的占用率高
- CPU运行队列中待运行的任务数
- 是否CPU停滞多，每时钟指令数(IPC)少(高级点，对于计算密集型的应用需要关注)
系统态CPU占用率高意味着共享资源有竞争或者有大量的I/O交互，因为这两类都会导致频繁的线程切换，所以会有大量的操作系统调用。
CPU调度程序运行队列中就是那些已准备好运行，正等待可用CPU的任务数（线程）。运行队列长度等于处理器个数时，不会有明显的性能下降。长度达到处理器个数的1倍时，则需要警惕了。而如果在较长的一段时间内，运行队列的长度达到处理器个数的3~4倍或者更多是，系统相应就会很慢了。
CPU停滞是指执行CPU指令所需的数据不在寄存器或者高速缓存中，需要从内存中调换，这时候就会导致CPU的停滞，但它仍然占用了CPU的时钟周期，所以会显示CPU还是很繁忙。
标准
一般不超出下面指标的情况都可以任务CPU处于合理的运行状态中
- 运行队列——每个处理器的运行队列不应多于1-3个。例如一个双核处理器的运行队列不应当多于6个进程。
- CPU利用率——如果CPU充分利用,应该达到一下的平衡比例
– 65-70%的用户时间
– 30-35%的系统时间
– 0-5%的空闲时间 - 上下文切换——上下文切换的数量直接决定了CPU的利用率。如果CPU利用率保持在上述的平衡比列,那么大量的上下文切换是正常的
监控工具
监控使用率
对于使用率的健康常用的工具有：vmstat,mpstat,top
vmstat
输入如下：
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 4710712 369028 1433668 0 0 11 22 380 70 15 3 82 0 0
0 0 0 4710892 369032 1433764 0 0 0 26 161 361 0 0 99 0 0
0 0 0 4710768 369040 1433764 0 0 0 8 150 292 0 0 100 0 0
输出的最后一列，即为cpu的占用率。
mpstat
mpstat用于观察多核CPU每一核的状态，同时它包含了更多的输出信息，例如
Linux 3.13.0-43-generic (X230) 2014年12月14日 _x86_64_ (4 CPU)
17时24分18秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
17时24分18秒 all 15.03 0.01 3.05 0.02 0.00 0.00 0.00 0.00 0.00 81.89
17时24分18秒 0 11.35 0.02 2.39 0.02 0.00 0.00 0.00 0.00 0.00 86.21
17时24分18秒 1 16.29 0.01 3.24 0.02 0.00 0.00 0.00 0.00 0.00 80.44
17时24分18秒 2 18.19 0.01 3.84 0.01 0.00 0.01 0.00 0.00 0.00 77.95
17时24分18秒 3 16.36 0.01 3.11 0.01 0.00 0.00 0.00 0.00 0.00 80.51
17时24分18秒 CPU intr/s
17时24分18秒 all 500.49
17时24分18秒 0 36.19
17时24分18秒 1 30.58
17时24分18秒 2 34.01
17时24分18秒 3 30.69
17时24分18秒 CPU 0/s 1/s 8/s 9/s 12/s 16/s 23/s 40/s 41/s 42/s 43/s 44/s 45/s 46/s NMI/s LOC/s SPU/s PMI/s IWI/s RTR/s RES/s CAL/s TLB/s TRM/s THR/s MCE/s MCP/s ERR/s MIS/s
17时24分18秒 0 0.00 0.08 0.00 0.00 0.21 0.17 0.00 0.00 1.32 0.00 0.02 21.08 3.41 0.00 0.00 102.20 0.00 0.00 1.03 0.00 18.50 0.01 1.08 0.00 0.00 0.00 0.00 0.00 0.00
17时24分18秒 1 0.00 0.00 0.00 0.01 0.22 0.07 0.00 0.00 0.37 0.00 0.12 0.00 12.64 0.00 0.00 76.54 0.00 0.00 0.87 0.00 16.62 0.01 0.94 0.00 0.00 0.00 0.00 0.00 0.00
17时24分18秒 2 0.00 0.00 0.00 0.00 0.10 0.24 0.00 0.00 0.40 0.00 0.00 0.01 0.73 0.00 0.00 113.41 0.00 0.00 0.99 0.00 21.63 0.01 1.02 0.00 0.00 0.00 0.00 0.00 0.00
17时24分18秒 3 0.00 0.00 0.00 0.00 0.09 0.43 0.00 0.00 0.50 0.00 0.00 0.00 0.80 0.00 0.00 83.13 0.00 0.00 0.78 0.00 17.68 0.01 0.88 0.00 0.00 0.00 0.00 0.00 0.00
17时24分18秒 CPU HI/s TIMER/s NET_TX/s NET_RX/s BLOCK/s BLOCK_IOPOLL/s TASKLET/s SCHED/s HRTIMER/s RCU/s
17时24分18秒 0 0.17 18.95 0.01 0.04 1.31 0.00 0.25 9.62 0.15 5.69
17时24分18秒 1 0.07 16.35 0.01 0.23 0.37 0.00 0.08 8.38 0.11 4.99
17时24分18秒 2 0.24 18.77 0.01 0.02 0.40 0.00 0.24 8.62 0.14 5.57
17时24分18秒 3 0.43 16.23 0.01 0.01 0.50 0.00 0.43 8.05 0.11 4.92
top
用top查看cpu信息时主要是可以查看每个java线程占用的CPU，再结合jstack的信息，可以发现占用CPU较高的线程，以及该线程当前在做的任务。
输入top命令后，按“H”键，或者直接用top -H启动top，即可按线程查看。
top - 17:37:02 up 23:14, 2 users, load average: 0.31, 0.18, 0.13
Threads: 495 total, 1 running, 494 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.8 us, 0.6 sy, 0.0 ni, 98.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem: 7894256 total, 3353116 used, 4541140 free, 370244 buffers
KiB Swap: 8102908 total, 0 used, 8102908 free. 1486564 cached Mem
Locate string
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1305 root 20 0 342460 61712 49948 S 2.0 0.8 13:18.28 Xorg
5840 ronry 20 0 847116 45540 21932 S 2.0 0.6 0:06.96 /usr/bin/termin
2195 ronry 20 0 1487912 91888 35680 S 0.7 1.2 16:39.39 compiz
8 root 20 0 0 0 0 S 0.3 0.0 0:03.33 rcuos/0
39 root 20 0 0 0 0 S 0.3 0.0 0:00.37 ksoftirqd/3
1227 root 20 0 4368 712 536 S 0.3 0.0 0:07.59 acpid
7386 ronry 20 0 1478608 128360 63084 S 0.3 1.6 3:17.79 Chrome_IOThread
7634 root 20 0 0 0 0 S 0.3 0.0 0:01.10 kworker/u16:1
8152 ronry 20 0 29440 1992 1164 R 0.3 0.0 0:00.10 top
1 root 20 0 33900 3212 1468 S 0.0 0.0 0:01.39 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
需要注意的是，top的pid是十进制的，与jstack的信息对比时，需要将其转换成16进制，才能找到对应线程的stack信息。
监控CPU调度程序运行队列
监控运行队列的长度使用vmstat命令，命令输出的第一行就是队列的长度。
调优
对于CPU层面的性能问题，一般可以从以下方面入手进行调优：
- 寻找更高效的算法（减少CPU的计算量）
- 减少线程切换（I/O等待，资源竞争）
