[daily][dpdk] 网卡offload识别包类型;如何模拟环境构造一个vlan包
第一部分 硬件识别包类型
网卡,是可以识别包类型的。在dpdk的API中。识别完之后,存在这个结构里:
struct rte_mbuf { ...... union { uint32_t packet_type; /**< L2/L3/L4 and tunnel information. */ struct { uint32_t l2_type:4; /**< (Outer) L2 type. */ uint32_t l3_type:4; /**< (Outer) L3 type. */ uint32_t l4_type:4; /**< (Outer) L4 type. */ uint32_t tun_type:4; /**< Tunnel type. */ uint32_t inner_l2_type:4; /**< Inner L2 type. */ uint32_t inner_l3_type:4; /**< Inner L3 type. */ uint32_t inner_l4_type:4; /**< Inner L4 type. */ }; }; ... ... }
这非常厉害,利用硬件能力;但是遗憾的是,有一些硬件并不能这么干,因为他们比较low,然后我们就需要软件实现。参考例子l3fwd,加一个回调替代硬件功能,提高兼容性:
static uint16_t callback(uint8_t port, uint16_t queue, struct rte_mbuf *pkts[], uint16_t nb_pkts, uint16_t max_pkts, void *user_param) { } void* cb_handler; cb_handler = rte_eth_add_rx_callback(port_id, i, callback, NULL); if (!cb_handler) { perror("rte_eth_add_rx_callback: "); return -1; }
所以,在实现这个函数之前,必须要了解硬件的行为模式。
第二部分 硬件的行为是啥样的
一个包来了之后,硬件会为 l2_type l3_type l4_type 赋值,值都是宏,见源码。如果是tunnel或者IP in IP等,也有相应的值变量可以付。但是我比较关系vlan。
而且发现,在 l2_type 定义的值之中,并没有VLAN存在。然后我构建了一组vlan包(见下一节)来实验,发现vlan包也能被正确识别到各层协议,那么它如何将这个一个
vlan包的信息传递出来呢?经过测试,发现用到了下面这个变量:
/** * The generic rte_mbuf, containing a packet mbuf. */ struct rte_mbuf { uint64_t ol_flags; /**< Offload features. */ }
如果是vlan包,会设置标记:
/** * RX packet is a 802.1q VLAN packet. This flag was set by PMDs when * the packet is recognized as a VLAN, but the behavior between PMDs * was not the same. This flag is kept for some time to avoid breaking * applications and should be replaced by PKT_RX_VLAN_STRIPPED. */ #define PKT_RX_VLAN_PKT (1ULL << 0)
至此,硬件行为基本清晰,已经基本满足我当前的需求,可以进行软件模拟了。
第三部分 构造一个VLAN包
做前文的实验中,为了验证硬件行为,需要自行构建vlan包。是这么干的。
1. 开一个虚拟机。单独建立一个网卡,与本地tap设备链接。
2. 在两端安装vconfig工具,并加载 8021q 内核模块,使用vconfig工具网卡增加一个虚拟的vlan网卡。
/home/tong/Data [tong@T7] [14:38] > pkgfile vconfig community/vlan /home/tong/Data [tong@T7] [14:38] > pacman -Ss vlan community/vlan 1.9-4 Virtual LAN configuration utility /home/tong/Data [tong@T7] [14:38] > sudo pacman -S vlan /home/tong/Data [tong@T7] [14:40] > modprobe 8021q /home/tong/Data [tong@T7] [14:48] > sudo vconfig add tap-dpdk-1 3 Added VLAN with VID == 3 to IF -:tap-dpdk-1:-
这时候能看见多了一个网卡
/home/tong/Data [tong@T7] [14:49] > ip link 21: tap-dpdk-1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UNKNOWN mode DEFAULT group default qlen 1000 link/ether d2:75:44:af:2b:20 brd ff:ff:ff:ff:ff:ff 25: tap-dpdk-1.3@tap-dpdk-1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000 link/ether d2:75:44:af:2b:20 brd ff:ff:ff:ff:ff:ff
3. 在虚拟机里同样操作,设成同样的vlan id = 3 ,也是会有两个网卡 eth1 和 eth1.3
4. 在host主机上,给 tap-dpdk-1.3 发包。 在 guest 主机上,eth1和eth1.3上,都会看见发来的包,区别是,eth1.3看见的包已经去除了vlan,而eth1上的包是带着vlan的。
所以,抓eth1,就把带着vlan的pcap,抓出来了。。。。
5. 我真是太聪明了,我这都是跟谁学的。。。。。
第四部分 补充
测以上内容,用来两个网卡
0000:03:00.0 '82599EB 10-Gigabit SFI/SFP+ Network Connection' drv=igb_uio unused=ixgbe 0000:09:00.0 '82583V Gigabit Network Connection' drv=igb_uio unused=e1000e
不用说,82599EB 肯定是支持硬件offload的。82583v 不仅不支持offload,连多队列都不支持。。。。
另:82599EB 配成一个队列的时候,竟然无法收到全部的包,发了51个,只收到30个,另外20个一定是跑去了别的队列??? 咋回事捏???