1.怎样理解平均负载？
1.通过我们在查看当前系统的状态的时候，往往会采用top或者uptime命令进行查看。
[root@node01 ~]# uptime 06:17:15 up 28 min, 3 users, load average: 0.00, 0.01, 0.04
其中后面的三个数字表示：过去的1分钟、5分钟、15分钟内的平均负载。这三个不同时间间隔的平均值，其实给我们提供了，分析系统负载趋势的数据来源，让我们能更全面，更立体地理解目前的负载状态。
比如说：在一个单cpu系统中看到的平均负载为1.73、0.60、7.98，那么说明在过去的1分钟内，系统有73%的超载，在过去的15分钟内，有698%的超载，因而从整体趋势来看，系统的负载在降低。
平均负载：指的是单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是是平均活跃进程数。
它和cpu的使用率没有直接的关系。
可运行状态的进程，是指正在使用cpu或着正在等待cpu的进程，也就是我们常用ps命令看到的，出入R状态(Ruing)或者(Runnable)的进程。
不可中断状态：指的是正在处于内核态关键流程中的进程，并且这些流程都是不可中断的，比如说最常见的是等待硬件设备I/O响应，也就是我们在ps命令中看到的D状态(Uninterruptible sleep,也称为Disk sleep)的进程。比如：当一个进程想磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，它是不能被其他进程或这中断打断的，这个时候的进程处于不可中断状态，如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一致的问题。所以，不可中断状态实际上是系统对进程和硬件设备的一种保护机制。
查看系统cpu的命令
[root@node01 ~]# grep 'model name' /proc/cpuinfo|wc -l 1
2.平均负载与CPU使用率
平均负载是指单位时间内，处于可运行状态和不可中断状态的进程数，所以它不仅包括了正在使用cpu的进程，还包括等待cpu和等待i/o的进程
而cpu使用率，是单位时间内cpu繁忙情况的统计，跟平均负载并不一定完全对应。
- CPU 密集型进程，使用大量 CPU 会导致平均负载升高，此时这两者是一致的；
- I/O 密集型进程，等待 I/O 也会导致平均负载升高，但 CPU 使用率不一定很高；
- 大量等待 CPU 的进程调度也会导致平均负载升高，此时的 CPU 使用率也会比较高。
工具： iostat、mpstat、pidstat
安装：
yum -y install stress sysstat
stress 是一个 Linux 系统压力测试工具，这里我们用作异常进程模拟平均负载升高的场景
而 sysstat 包含了常用的 Linux 性能工具，用来监控和分析系统的性能。我们的案例会用到这个包的两个命令 mpstat 和 pidstat。
1.mpstat 是一个常用的多核 CPU 性能分析工具，用来实时查看每个 CPU 的性能指标，以及所有 CPU 的平均指标。
2.pidstat 是一个常用的进程性能分析工具，用来实时查看进程的 CPU、内存、I/O 以及上下文切换等性能指标
场景1：cpu密集型
这里预先开启三个回话窗口
session1 : 终端运行 stress 命令，模拟一个 CPU 使用率 100% 的场景
$ stress --cpu 1 --timeout 600
session2:在第二个终端运行 uptime 查看平均负载的变化情况
# -d 参数表示高亮显示变化的区域 $ watch -d uptime ..., load average: 1.00, 0.75, 0.39
session3:运行 mpstat 查看 CPU 使用率的变化情况：
# -P ALL 表示监控所有CPU，后面数字5表示间隔5秒后输出一组数据 [root@node01 ~]# mpstat -P ALL 5 Linux 3.10.0-1160.24.1.el7.x86_64 (node01) 06/10/2021 _x86_64_ (1 CPU) 06:53:46 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 06:53:51 AM all 99.80 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 06:53:51 AM 0 99.80 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00
session4:到底是哪个进程导致了 CPU 使用率为 100% 呢？你可以使用 pidstat 来查询
[root@node01 ~]# pidstat -u 5 1 ##显示所有CPU的指标，并在间隔5秒输出一组数据 Linux 3.10.0-1160.24.1.el7.x86_64 (node01) 06/10/2021 _x86_64_ (1 CPU) 06:57:06 AM UID PID %usr %system %guest %CPU CPU Command 06:57:11 AM 0 42 0.00 0.20 0.00 0.20 0 kworker/u256:1 06:57:11 AM 0 2211 98.41 0.20 0.00 98.61 0 stress 06:57:11 AM 0 2218 0.20 0.20 0.00 0.40 0 watch 06:57:11 AM 0 2238 0.00 0.20 0.00 0.20 0 pidstat
从这里可以明显看到，stress 进程的 CPU 使用率为 100%。
场景二：I/O密集型
session1:运行 stress 命令，但这次模拟 I/O 压力，即不停地执行 sync：
$ stress -i 1 --timeout 600
session2:运行 uptime 查看平均负载的变化情况：
$ watch -d uptime
session3:第三个终端运行 mpstat 查看 CPU 使用率的变化情况：
mpstat -P ALL 5 1
session4；到底是哪个进程导致了 CPU 使用率为 100% 呢？你可以使用 pidstat 来查询
[root@node01 ~]# pidstat -u 5 1 Linux 3.10.0-1160.24.1.el7.x86_64 (node01) 06/10/2021 _x86_64_ (1 CPU) 07:06:42 AM UID PID %usr %system %guest %CPU CPU Command 07:06:47 AM 0 42 0.00 8.33 0.00 8.33 0 kworker/u256:1 07:06:47 AM 0 2338 3.57 78.77 0.00 82.34 0 stress 07:06:47 AM 0 2339 0.20 0.20 0.00 0.40 0 watch 07:06:47 AM 0 2418 0.00 8.13 0.00 8.13 0 kworker/u256:0 07:06:47 AM 0 2523 0.00 0.20 0.00 0.20 0 pidstat
场景3：大量进程场景
当系统中运行进程超出 CPU 运行能力时，就会出现等待 CPU 的进程。
比如，我们还是使用 stress，但这次模拟的是 8 个进程：
session1:
$ stress -c 8 --timeout 600
session2:由于系统只有 21个 CPU，明显比 8 个进程要少得多，因而，系统的 CPU 处于严重过载状态，平均负载高达 7.97：
$ uptime ..., load average: 7.97, 5.93, 3.02
session3:
[root@node01 ~]# mpstat -P ALL 5 1 Linux 3.10.0-1160.24.1.el7.x86_64 (node01) 06/10/2021 _x86_64_ (1 CPU) 07:15:26 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 07:15:31 AM all 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 07:15:31 AM 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
session4:
[root@node01 ~]# pidstat -u 5 1 Linux 3.10.0-1160.24.1.el7.x86_64 (node01) 06/10/2021 _x86_64_ (1 CPU) 07:14:37 AM UID PID %usr %system %guest %CPU CPU Command 07:14:42 AM 0 2581 12.18 0.00 0.00 12.18 0 stress 07:14:42 AM 0 2582 12.38 0.00 0.00 12.38 0 stress 07:14:42 AM 0 2583 12.38 0.00 0.00 12.38 0 stress 07:14:42 AM 0 2584 11.98 0.00 0.00 11.98 0 stress 07:14:42 AM 0 2585 11.98 0.00 0.00 11.98 0 stress 07:14:42 AM 0 2586 12.18 0.00 0.00 12.18 0 stress 07:14:42 AM 0 2587 12.18 0.00 0.00 12.18 0 stress 07:14:42 AM 0 2588 12.18 0.00 0.00 12.18 0 stress 07:14:42 AM 0 2589 0.00 0.20 0.00 0.20 0 watch Average: UID PID %usr %system %guest %CPU CPU Command Average: 0 2581 12.18 0.00 0.00 12.18 - stress Average: 0 2582 12.38 0.00 0.00 12.38 - stress Average: 0 2583 12.38 0.00 0.00 12.38 - stress Average: 0 2584 11.98 0.00 0.00 11.98 - stress Average: 0 2585 11.98 0.00 0.00 11.98 - stress Average: 0 2586 12.18 0.00 0.00 12.18 - stress Average: 0 2587 12.18 0.00 0.00 12.18 - stress Average: 0 2588 12.18 0.00 0.00 12.18 - stress Average: 0 2589 0.00 0.20 0.00 0.20 - watch
可以看出，8 个进程在争抢 1 个 CPU，每个进程等待 CPU 的时间（也就是代码块中的 %wait 列）高达 75%。这些超出 CPU 计算能力的进程，最终导致 CPU 过载。
总结：
命令如下：
mpstat -P ALL 3 3 ##这个表示每隔3秒打印3次所有cpu的在用户态、内核态、io等待所占用时间百分比的状态信息 pidstat -u 3 3 ##这个是查看具体进程(命令)在用户态、内核态、io等待所占用cpu时间的百分比。
