第7章：网络---接收数据包的流程、网卡工作原理

接收数据包的流程

接收数据包的流程
==================================================
接收数据包是一个复杂的过程，涉及很多底层的技术细节，但大致需要以下几个步骤：
1.网卡收到数据包。
2.将数据包从网卡硬件缓存转移到服务器内存中。
3.通知内核处理。
4.经过 TCP/IP 协议逐层处理。
5.应用程序通过 read() 从 socket buffer 读取数据。

接收数据包的流程

将网卡收到的数据包转移到主机内存（NIC 与驱动交互）
==================================================
NIC 在接收到数据包之后，首先需要将数据同步到内核中，这中间的桥梁是 rx ring buffer。它是由 NIC 和驱动程序共享的一片区域，事实上，rx ring buffer 存储的并不是实际的 packet 数据，而是一个描述符，这个描述符指向了它真正的存储地址，具体流程如下：

1.驱动在内存中分配一片缓冲区用来接收数据包，叫做 sk_buffer；
2.将上述缓冲区的地址和大小（即接收描述符），加入到 rx ring buffer。描述符中的缓冲区地址是 DMA 使用的物理地址；
3.驱动通知网卡有一个新的描述符；
4.网卡从 rx ring buffer 中取出描述符，从而获知缓冲区的地址和大小；
5.网卡收到新的数据包；
6.网卡将新数据包通过 DMA 直接写到 sk_buffer 中。
    当驱动处理速度跟不上网卡收包速度时，驱动来不及分配缓冲区，NIC 接收到的数据包无法及时写到 sk_buffer，就会产生堆积，当 NIC 内部缓冲区写满后，就会丢弃部分数据，引起丢包。这部分丢包为 rx_fifo_errors，在 /proc/net/dev 中体现为 fifo 字段增长，在 ifconfig 中体现为 overruns 指标增长。

将网卡收到的数据包转移到主机内存（NIC 与驱动交互）

通知系统内核处理（驱动与 Linux 内核交互）
==================================================
这个时候，数据包已经被转移到了 sk_buffer 中。前文提到，这是驱动程序在内存中分配的一片缓冲区，并且是通过 DMA 写入的，这种方式不依赖 CPU 直接将数据写到了内存中，意味着对内核来说，其实并不知道已经有新数据到了内存中。那么如何让内核知道有新数据进来了呢？答案就是中断，通过中断告诉内核有新数据进来了，并需要进行后续处理。

提到中断，就涉及到硬中断和软中断，首先需要简单了解一下它们的区别：
    硬中断：由硬件自己生成，具有随机性，硬中断被 CPU 接收后，触发执行中断处理程序。中断处理程序只会处理关键性的、短时间内可以处理完的工作，剩余耗时较长工作，会放到中断之后，由软中断来完成。硬中断也被称为上半部分。
    软中断：由硬中断对应的中断处理程序生成，往往是预先在代码里实现好的，不具有随机性。（除此之外，也有应用程序触发的软中断，与本文讨论的网卡收包无关。）也被称为下半部分。

当 NIC 把数据包通过 DMA 复制到内核缓冲区 sk_buffer 后，NIC 立即发起一个硬件中断。CPU 接收后，首先进入上半部分，网卡中断对应的中断处理程序是网卡驱动程序的一部分，之后由它发起软中断，进入下半部分，开始消费 sk_buffer 中的数据，交给内核协议栈处理。

通过中断，能够快速及时地响应网卡数据请求，但如果数据量大，那么会产生大量中断请求，CPU 大部分时间都忙于处理中断，效率很低。为了解决这个问题，现在的内核及驱动都采用一种叫 NAPI（new API）的方式进行数据处理，其原理可以简单理解为 中断 + 轮询，在数据量大时，一次中断后通过轮询接收一定数量包再返回，避免产生多次中断。

通知系统内核处理（驱动与 Linux 内核交互）

网卡工作原理

网卡收包；网卡发包；网卡中断处理函数；缓冲区访问
========================================================================
网卡收包
网线上的 packet 首先被网卡获取，网卡会检查 packet 的 CRC 校验，保证完整性，然后将 packet 头去掉，得到 frame。网卡会检查 MAC 包内的目的 MAC 地址，如果和本网卡的 MAC 地址不一样则丢弃 (混杂模式除外)。
网卡将 frame 拷贝到网卡内部的 FIFO 缓冲区，触发硬件中断。（如有 ring buffer 的网卡，好像 frame 可以先存在 ring buffer 里再触发软件中断（下篇文章将详细解释 Linux 中 frame 的走向），ring buffer 是网卡和驱动程序共享，是设备里的内存，但是对操作系统是可见的，因为看到 linux 内核源码里网卡驱动程序是使用 kcalloc 来分配的空间，所以 ring buffer 一般都有上限，另外这个 ring buffer size，表示的应该是能存储的 frame 的个数，而不是字节大小。另外有些系统的 ethtool 命令 并不能改变 ring parameters 来设置 ring buffer 的大小，暂时不知道为什么，可能是驱动不支持。）
网卡驱动程序通过硬中断处理函数，构建 sk_buff，把 frame 从网卡 FIFO 拷贝到内存 skb 中，接下来交给内核处理。（支持 napi 的网卡应该是直接放在 ring buffer，不触发硬中断，直接使用软中断，拷贝 ring buffer 里的数据，直接输送给上层处理，每个网卡在一次软中断处理过程能处理 weight 个 frame）
过程中，网卡芯片对 frame 进行了 MAC 过滤，以减小系统负荷。（除了混杂模式）

----------------------------------------------------------------------
网卡发包
网卡驱动程序将 IP 包添加 14 字节的 MAC 头，构成 frame（暂无 CRC）。Frame（暂无 CRC）中含有发送端和接收端的 MAC 地址，由于是驱动程序创建 MAC 头，所以可以随便输入地址，也可以进行主机伪装。

驱动程序将 frame（暂无 CRC）拷贝到网卡芯片内部的缓冲区，由网卡处理。

网卡芯片将未完全完成的 frame（缺 CRC）再次封装为可以发送的 packet，也就是添加头部同步信息和 CRC 校验，然后丢到网线上，就完成一个 IP 报的发送了，所有接到网线上的网卡都可以看到该 packet。

----------------------------------------------------------------------
网卡中断处理函数
产生中断的每个设备都有一个相应的中断处理程序，是设备驱动程序的一部分。每个网卡都有一个中断处理程序，用于通知网卡该中断已经被接收了，以及把网卡缓冲区的数据包拷贝到内存中。

当网卡接收来自网络的数据包时，需要通知内核数据包到了。网卡立即发出中断。内核通过执行网卡已注册的中断处理函数来做出应答。中断处理程序开始执行，通知硬件，拷贝最新的网络数据包到内存，然后读取网卡更多的数据包。

这些都是重要、紧迫而又与硬件相关的工作。内核通常需要快速的拷贝网络数据包到系统内存，因为网卡上接收网络数据包的缓存大小固定，而且相比系统内存也要小得多。所以上述拷贝动作一旦被延迟，必然造成网卡 FIFO 缓存溢出 - 进入的数据包占满了网卡的缓存，后续的包只能被丢弃，这也应该就是 ifconfig 里的 overrun 的来源。

当网络数据包被拷贝到系统内存后，中断的任务算是完成了，这时它把控制权交还给被系统中断前运行的程序。

----------------------------------------------------------------------
缓冲区访问
网卡的内核缓冲区，是在 PC 内存中，由内核控制，而网卡会有 FIFO 缓冲区，或者 ring buffer，这应该将两者区分开。FIFO 比较小，里面有数据便会尽量将数据存在内核缓冲中。

网卡中的缓冲区既不属于内核空间，也不属于用户空间。它属于硬件缓冲，允许网卡与操作系统之间有个缓冲；

内核缓冲区在内核空间，在内存中，用于内核程序，做为读自或写往硬件的数据缓冲区；

用户缓冲区在用户空间，在内存中，用于用户程序，做为读自或写往硬件的数据缓冲区；

另外，为了加快数据的交互，可以将内核缓冲区映射到用户空间，这样，内核程序和用户程序就可以同时访问这一区间了。

对于有 ring buffer 的网卡，ring buffer 是由驱动与网卡共享的，所以内核可以直接访问 ring buffer，一般拷贝 frames 的副本到自己的内核空间进行处理（deliver 到上层协议，之后的一个个 skb 就是按 skb 的指针传递方式传递，直到用户获得数据，所以，对于 ring buffer 网卡，大量拷贝发生在 frame 从 ring buffer 传递到内核控制的计算机内存里）。

网卡收包；网卡发包；网卡中断处理函数；缓冲区访问

参考文章：
ethtool 原理介绍和解决网卡丢包排查思路 https://blog.csdn.net/alex_yangchuansheng/article/details/106953394