CPU问题排查常用命令
常用命令
1. uptime 显示系统启动时间和平均负载
02:34:03 up 2 days, 20:14, 1 user, load average: 0.63, 0.83, 0.88
2. stress 常用压测命令
cpu密集型压测
stress --cpu 1 --timeout 600
io密集型压测
stress-ng -i 1 --hdd 1 --timeout 600
大量进程压测
stress -c 8 --timeout 600
3. mpstat 查看cpu每核使用变化情况，
# -P ALL 表示监控所有CPU，后面数字5表示间隔5秒后输出一组数据
$ mpstat -P ALL 5
Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU)
13:30:06 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
13:30:11 all 50.05 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 49.95
13:30:11 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
13:30:11 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
4. pidstat 查看哪个进程占用资源高，常用 -w -u -t 参数。
命令详解：https://www.jianshu.com/p/3991c0dba094
# 间隔5秒后输出一组数据
$ pidstat -u 5 1 （每核CPU使用情况）
13:37:07 UID PID %usr %system %guest %wait %CPU CPU Command
13:37:12 0 2962 100.00 0.00 0.00 0.00 100.00 1 stress
$./pidstat -w 1 1 (查看应用进程上下文切换次数，如果要查看线程上下文切换，需要加参数 -t,-d 查看IO读写情况)
Linux 3.10.0-1160.el7.x86_64 (mysql) 02/27/2022 _x86_64_ (2 CPU)
01:04:56 PM UID PID cswch/s nvcswch/s Command
01:04:57 PM 0 1 0.98 0.00 systemd
01:04:57 PM 0 9 17.65 0.00 rcu_sched
01:04:57 PM 0 11 0.98 0.00 watchdog/0
01:04:57 PM 0 12 0.98 0.00 watchdog/1
01:04:57 PM 0 14 0.98 0.00 ksoftirqd/1
01:04:57 PM 0 37 0.98 0.00 khugepaged
01:04:57 PM 0 347 0.98 0.00 kworker/0:1H
01:04:57 PM 0 1778 0.98 0.00 kworker/1:1H
01:04:57 PM 0 8980 1.96 0.00 kworker/1:2
01:04:57 PM 0 29566 2.94 0.00 kworker/0:2
01:04:57 PM 0 30382 0.98 0.98 pidstat
5. vmstat 分析内存使用,cpu上下文切换和中断次数
# 每隔5秒输出1组数据
$ vmstat 5
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 7005360 91564 818900 0 0 0 0 25 33 0 0 100 0 0
cs（context switch）是每秒上下文切换的次数。
in（interrupt）则是每秒中断的次数。
r（Running or Runnable）是就绪队列的长度，也就是正在运行和等待 CPU 的进程数。
b（Blocked）则是处于不可中断睡眠状态的进程数。
6. perf top 分析系统或进程热点函数
$ perf top
Samples: 833 of event 'cpu-clock', Event count (approx.): 97742399
Overhead Shared Object Symbol
7.28% perf [.] 0x00000000001f78a4
4.72% [kernel] [k] vsnprintf
4.32% [kernel] [k] module_get_kallsym
3.65% [kernel] [k] _raw_spin_unlock_irqrestore
...
perf record 采集内容生成报告,一般都会加上 -g 参数，开启调用关系的采样
perf report 显示报告内容
perf top -g -p 21515 分析指定的进程ID性能问题
7. pstree 查看进程之间关系
$ pstree | grep stress
|-docker-containe-+-php-fpm-+-php-fpm---sh---stress
| |-3*[php-fpm---sh---stress---stress]
pstree -aps 进程ID --查看进程关系树
8. sar 分析各方面系统性能
# -n DEV 表示显示网络收发的报告，间隔1秒输出一组数据
$ sar -n DEV 1
15:03:46 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
15:03:47 eth0 12607.00 6304.00 664.86 358.11 0.00 0.00 0.00 0.01
15:03:47 docker0 6302.00 12604.00 270.79 664.66 0.00 0.00 0.00 0.00
15:03:47 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
15:03:47 veth9f6bbcd 6302.00 12604.00 356.95 664.66 0.00 0.00 0.00 0.05
常用命令安装##
sysstat工具
github：https://github.com/sysstat/sysstat
9. watch -d cat /proc/softirqs 分析软件中断
根据结果变化内容，主要是看哪个类型的软中断变化较大，再具体分析
sysbench工具
参考阿里云帮助文档：
https://help.aliyun.com/document_detail/53632.html
pstree 命令
yum -y install psmisc
