virtio_net 设备的队列数问题
virtio_net设备的其他问题:见 https://www.cnblogs.com/10087622blog/p/15886345.html
一个virtio_net设备在 virtnet_probe 的时候,会 读取 VIRTIO_NET_F_MQ 特性
/* Find if host supports multiqueue virtio_net device */ err = virtio_cread_feature(vdev, VIRTIO_NET_F_MQ, struct virtio_net_config, max_virtqueue_pairs, &max_queue_pairs);//caq:是否支持多队列,如果支持则获取到队列数
此时的max_queue_pairs 是取决于后端dev的特性。
然后在sysfs中生效查看的队列数,是以 dev之后的队列总数和当前online的cpu核数的小值为current 生效值。
`
/* Enable multiqueue by default */
if (num_online_cpus() >= max_queue_pairs)//caq:cpu数大于队列数
vi->curr_queue_pairs = max_queue_pairs;//caq:则取小值
else
vi->curr_queue_pairs = num_online_cpus();//caq:否则取cpu数,也是小值
vi->max_queue_pairs = max_queue_pairs;//caq:max还是记录设备层的
/* Allocate/initialize the rx/tx queues, and invoke find_vqs */
err = init_vqs(vi);//caq:vq的获取和配置,回调 find_vqs
if (err)
goto free;
ifdef CONFIG_SYSFS
if (vi->mergeable_rx_bufs)
dev->sysfs_rx_queue_group = &virtio_net_mrg_rx_group;
endif//caq:真正在 sysfs中生效的队列个数是以 max_queue_pairs 和 num_online_cpus 的小值决定的
netif_set_real_num_tx_queues(dev, vi->curr_queue_pairs);//caq:实际使用的队列个数
netif_set_real_num_rx_queues(dev, vi->curr_queue_pairs);//caq:实际使用的队列个数设置为real 队列数
netif_set_real_num_rx_queues的实现如下:
int netif_set_real_num_rx_queues(struct net_device *dev, unsigned int rxq)
{
int rc;
if (rxq < 1 || rxq > dev->num_rx_queues)
return -EINVAL;
if (dev->reg_state == NETREG_REGISTERED) {--------------//caq:如果注册过,则走更新流程
ASSERT_RTNL();
rc = net_rx_queue_update_kobjects(dev, dev->real_num_rx_queues,
rxq);
if (rc)
return rc;
}
dev->real_num_rx_queues = rxq;//caq:否则走设置流程
return 0;
}
而针对virtio层,申请 virtio的queue的时候,却是使用的 max_queue_pairs。
//caq:申请queue的管理空间
static int virtnet_alloc_queues(struct virtnet_info *vi)
{
int i;
vi->ctrl = kzalloc(sizeof(*vi->ctrl), GFP_KERNEL);
if (!vi->ctrl)//caq:control_buf 内存申请
goto err_ctrl;
vi->sq = kcalloc(vi->max_queue_pairs, sizeof(*vi->sq), GFP_KERNEL);//caq:按照max_queue_pairs来申请queue资源
if (!vi->sq)//caq:sq管理数组
goto err_sq;
vi->rq = kcalloc(vi->max_queue_pairs, sizeof(*vi->rq), GFP_KERNEL);
if (!vi->rq)//caq:rq管理数组
goto err_rq;
`
所以会经常看到,申请中断的时候,如果是per vq per irq资源申请成功,则在 /proc/interrupts 中看到的该virtio设备的队列个数却有可能远远大于 真正生效的net的queue的个数。如下图:
而从virtio设备的角度看: