interrupts；软中断案例

倪朋飞《Linux 性能优化实战》
09 | 基础篇：怎么理解Linux软中断？
10 | 案例篇：系统的软中断CPU使用率升高，我该怎么办？

中断概述；网卡接收数据包的例子
====================================================================================================
中断是一种异步的事件处理机制，可以提高系统的并发处理能力。


由于中断处理程序会打断其他进程的运行，所以，为了减少对正常进程运行调度的影响，中断处理程序就需要尽可能快地运行。


Linux 将中断处理过程分成了两个阶段，也就是上半部和下半部：
    上半部用来快速处理中断，它在中断禁止模式下运行，主要处理跟硬件紧密相关的或时间敏感的工作。
    下半部用来延迟处理上半部未完成的工作，通常以内核线程的方式运行。


最常见的网卡接收数据包的例子：
    网卡接收到数据包后，会通过硬件中断的方式，通知内核有新的数据到了。这时，内核就应该调用中断处理程序来响应它。
    对上半部来说，既然是快速处理，其实就是要把网卡的数据读到内存中，然后更新一下硬件寄存器的状态（表示数据已经读好了），最后再发送一个软中断信号，通知下半部做进一步的处理。
    而下半部被软中断信号唤醒后，需要从内存中找到网络数据，再按照网络协议栈，对数据进行逐层解析和处理，直到把它送给应用程序。
这两个阶段你也可以这样理解：
    上半部直接处理硬件请求，也就是我们常说的硬中断，特点是快速执行；
    而下半部则是由内核触发，也就是我们常说的软中断，特点是延迟执行。

软中断不只包括了硬件设备中断处理程序的下半部，一些内核自定义的事件也属于软中断，比如内核调度和 RCU 锁（Read-Copy Update 的缩写，RCU 是 Linux 内核中最常用的锁之一）等。

中断概述；网卡接收数据包的例子

查看软中断和内核线程：/proc/softirqs、/proc/interrupts
====================================================================================================
查看软中断和内核线程
/proc/softirqs 提供了软中断的运行情况；
/proc/interrupts 提供了硬中断的运行情况。


在查看 /proc/softirqs 文件内容时，你要特别注意以下这两点。
    第一，要注意软中断的类型，也就是这个界面中第一列的内容。从第一列你可以看到，软中断包括了 10 个类别，分别对应不同的工作类型。比如 NET_RX 表示网络接收中断，而 NET_TX 表示网络发送中断。
    第二，要注意同一种软中断在不同 CPU 上的分布情况，也就是同一行的内容。正常情况下，同一种中断在不同 CPU 上的累积次数应该差不多。比如这个界面中，NET_RX 在 CPU0 和 CPU1 上的中断次数基本是同一个数量级，相差不大。
    不过你可能发现，TASKLET 在不同 CPU 上的分布并不均匀。TASKLET 是最常用的软中断实现机制，每个 TASKLET 只运行一次就会结束 ，并且只在调用它的函数所在的 CPU 上运行。


#ps aux | grep softir
root          9  0.0  0.0      0     0 ?        S    May19   4:50 [ksoftirqd/0]     #注意，这些线程的名字外面都有中括号，这说明 ps 无法获取它们的命令行参数（cmline）。
root         16  0.0  0.0      0     0 ?        S    May19   2:51 [ksoftirqd/1]     #一般来说，ps 的输出中，名字括在中括号里的，一般都是内核线程。

查看软中断和内核线程：/proc/softirqs、/proc/interrupts

小结
软中断 CPU 使用率（softirq）升高是一种很常见的性能问题。虽然软中断的类型很多，但实际生产中，我们遇到的性能瓶颈大多是网络收发类型的软中断，特别是网络接收的软中断。
在碰到这类问题时，你可以借用 sar、tcpdump 等工具，做进一步分析。不要害怕网络性能，后面我会教你更多的分析方法。

小结

软中断案例
==========================================================================================================
server端
docker run -itd --name=nginx -p 80:80 nginx
client端
curl http://192.168.1.160/

$ hping3 -S -p 80 -i u1 192.168.1.160   
    # -S参数表示设置TCP协议的SYN（同步序列号），-p表示目的端口为80
    # -i u100表示每隔100微秒发送一个网络帧
    # 注：如果你在实践过程中现象不明显，可以尝试把100调小，比如调成10甚至1


------------------------------------------------------------------------------------
server端排查命令
top                 #发现除了软中断有点高；CPU使用率最高的是ksoftirqd/0进程
mpstat 1 10

pidstat -d 1 5      #因为sys攻击不是发送给本机的，所以几乎没有数据

watch -d cat /proc/softirqs     #发现软中断NET_RX变化最大
awk '{print $1,$2,$3}' /proc/softirqs

sar -n DEV 1


----------------------------------------------------------------------------------
server端排查过程
[root@yefeng ~]# top
top - 22:41:34 up 11 min,  1 user,  load average: 1.62, 1.04, 0.59
Tasks: 169 total,   2 running, 167 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  0.0 sy,  0.0 ni,  0.7 id,  0.0 wa,  0.0 hi, 99.3 si,  0.0 st         #CPU软中断很高
KiB Mem :  3861264 total,  2733096 free,   686552 used,   441616 buff/cache
KiB Swap:  2088956 total,  2088956 free,        0 used.  2930300 avail Mem

   PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
     6 root      20   0       0      0      0 R 94.0  0.0   3:44.18 ksoftirqd/0         #CPU使用率最高的是ksoftirqd/0进程
  1312 root      20   0  165652   6388   4860 S  1.7  0.2   0:02.31 sshd
   839 root      20   0  478752   9012   6820 S  1.0  0.2   0:01.33 NetworkManager      #现象与教程的不同
     9 root      20   0       0      0      0 S  0.7  0.0   0:05.24 rcu_sched           #1.教程的cpu使用率很低，才4%，不过这4%几乎全部用在cpu软中断
  2204 root      20   0  663140  30096  14856 S  0.3  0.8   0:01.31 dockerd-current     #2.我ssh的服务端，并不卡。。。
  2672 root      20   0       0      0      0 S  0.3  0.0   0:00.09 kworker/0:0         #CPU使用率最高的都是ksoftirqd/0进程，但是教程的CPU使用率才4%左右。。
  2682 root      20   0  164188   2392   1608 R  0.3  0.1   0:00.29 top
     1 root      20   0  128448   7080   4208 S  0.0  0.2   0:02.25 systemd

[root@yefeng ~]# awk '{print $1,$2,$3}' /proc/softirqs
#TIMER（定时中断）、NET_RX（网络接收）、SCHED（内核调度）、RCU（RCU 锁）等这几个软中断都在不停变化。
#NET_RX，也就是网络数据包接收软中断的变化速率最快。而其他几种类型的软中断，是保证 Linux 调度、时钟和临界区保护这些正常工作所必需的，所以它们有一定的变化倒是正常的。
CPU0 CPU1 CPU2
HI: 1 0
TIMER: 697366 0
NET_TX: 213 0
NET_RX: 10953955 0
BLOCK: 11092 0
BLOCK_IOPOLL: 0 0
TASKLET: 209 0
SCHED: 0 0
HRTIMER: 0 0
RCU: 4109371 0

[root@yefeng ~]# sar -n DEV 1
Linux 3.10.0-1160.el7.x86_64 (yefeng)   06/02/2022      _x86_64_        (1 CPU)

10:45:35 PM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
10:45:36 PM vethe24185d  29555.00  57741.00   1674.01   3044.94      0.00      0.00      0.00
10:45:36 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:45:36 PM virbr0-nic      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:45:36 PM    virbr0      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:45:36 PM     ens33  61454.00  29606.00   3600.94   1734.77      0.00      0.00      0.00         #确实收到了大量的数据包，结合BPS和PPS，计算发现基本都是60字节的小包
10:45:36 PM   docker0  29605.00  61449.00   1272.09   3240.47      0.00      0.00      0.00


tcpdump -i eth0 -n tcp port 80