通过Mellanox ConnectX NIC使用XDP加速

通过Mellanox ConnectX NIC使用XDP加速

Accelerating with XDP over Mellanox ConnectX NICs

XDP（eXpress Data Path）是Linux内核网络堆栈中的可编程数据路径。为BPF提供了一个框架，可以在运行时实现高性能的包处理。XDP与Linux网络堆栈协同工作，不是内核旁路。        

由于XDP运行在内核网络驱动程序中，可以从网卡的RX环读取以太网帧并立即采取运行。XDP通过在驱动程序中实现的RX钩子插入eBPF基础架构。XDP是EBPF的一个应用程序，可以使用返回码触发操作、修改包内容和推/拉头文件信息。             

XDP有各种各样的用例，比如包过滤、包转发、负载平衡、DDOS缓解等等。一个常见的用例是XDP_DROP，指示驱动程序丢弃数据包。这可以通过运行自定义BPF程序来解析在驱动程序中接收到的传入数据包来完成。这个程序返回一个决策判断或返回码（XDP_DROP），其中数据包在驱动程序级被丢弃，而不会浪费任何进一步的资源。Ethtool计数器可用于验证XDP程序的操作。

Running XDP_DROP

XDP程序一进入网络驱动程序就运行，从而提高了网络性能。还提高了CPU利用率。Mellanox ConnectX NIC系列允许NIC硬件准备元数据。此元数据可用于对使用XDP的应用程序执行硬件加速。             

下面是一个如何使用Mellanox ConnectX-5运行XDP_DROP的示例。             

检查当前内核是否支持bpf和xdp：

sysctl net/core/bpf_jit_enable

如果找不到，请编译并运行启用了BPF的内核。可以使用任何大于5.0的上游内核。             

启用以下kconfig标志：

• BPF BPF_SYSCALL
• BPF_JIT
• HAVE_BPF_JIT
• BPF_EVENTS

创新启动新的kernel.

Install clang and llvm:

yum install -y llvm clang libcap-devel

按照以下方法编译

cd <linux src code> make samples/bpf/ 

这将编译所有可用的XDP应用程序。编译完成后，将看到/sample/bpf下的所有XDP应用程序（图1）。

 

Figure 1. XDP applications under /sample/bpf.

在前面的安装中，现在可以运行XDP应用程序了。可以在两种模式下运行：             

驱动程序路径必须在驱动程序中具有实现。以页面分辨率工作，不创建SKB。性能明显提高。Mellanox NIC支持此模式。             

通用路径适用于任何网络设备。与SKBs合作，但性能更差。             

在驱动程序路径中运行XDP_DROP。XDP_DROP是在Linux中丢弃数据包最简单、最快的方法之一。在这里，指示驱动程序在驱动程序的最早Rx阶段丢弃数据包。这意味着数据包被回收回刚刚到达的RX环队列中。              

位于<linux\u source>/samples/bpf/implements XDP Drop的xdp1应用程序。             

选择选择的流量生成器。使用Cisco TRex。             

在RX端，使用以下命令在驱动程序路径中启动xdp1：

<PATH_TO_LINUX_SOURCE>/samples/bpf/xdp1 -N <INTERFACE>  # -N can be omitted

可以使用应用程序输出，同时ethtool计数器显示XDP丢弃率：

ethtool -S <intf> | grep -iE rx[0-9]*_xdp_drop

 

Figure 2. Verify XDP drop counter using ethtool counters.