【原创】Linux虚拟化KVM-Qemu分析（九）之virtio设备

背景

  • Read the fucking source code! --By 鲁迅
  • A picture is worth a thousand words. --By 高尔基

说明：

  1. KVM版本：5.9.1
  2. QEMU版本：5.0.0
  3. 工具：Source Insight 3.5， Visio
  4. 文章同步在博客园：https://www.cnblogs.com/LoyenWang/

新的一年， 大家牛起来！
祝小姐姐们：
落雁沉鱼 兰质蕙心 明眸皓齿 螓首蛾眉 天生丽质 天香国色 杏脸桃腮 煦色韶光 涎玉沫珠 宜嗔宜喜 远山芙蓉 艳色绝世 余霞成绮 阿娇金屋 逞娇呈美 国色天香 花颜月貌 绝色佳人 暗香盈袖 闭月羞花 倾国倾城 温婉娴淑 千娇百媚 仪态万千...

祝男的：
新年好。

1. 概述

先来张图：

  • 图中罗列了四个关键模块：Virtio Device、Virtio Driver、Virtqueue、Notification（eventfd/irqfd）；
  • Virtio Driver：前端部分，处理用户请求，并将I/O请求转移到后端；
  • Virtio Device：后端部分，由Qemu来实现，接收前端的I/O请求，并通过物理设备进行I/O操作；
  • Virtqueue：中间层部分，用于数据的传输；
  • Notification：交互方式，用于异步事件的通知；

 
想在一篇文章中写完这四个模块，有点too yong too simple，所以，看起来又是一个系列文章了。
本文先从Qemu侧的virtio device入手，我会选择从一个实际的设备来阐述，没错，还是上篇文章中提到的网络设备。

2. 流程分析

在Qemu的网卡虚拟化时，通常会创建一个虚拟网卡前端和虚拟网卡后端，如下图：

  • 在虚拟机创建的时候指定参数：-netdev tap, id = tap0， -device virtio-net-pci, netdev=tap0；
  • 创建一个Tap网卡后端设备；
  • 创建一个Virtio-Net网卡前端设备；
  • 网卡前端设备和后端设备进行交互，最终与Host的驱动完成数据的收发；

全文围绕着Tap设备的创建和Virtio-Net设备的创建展开。

入口流程如下：

  • Qemu的代码阅读起来还是比较费劲的，各种盘根错节，里边充斥着面向对象的思想，先给自己挖个坑，后续会专题研究的，this is for you, you have my words.;
  • 图中与本文相关的有三个模块：1）模块初始化；2）网络设备初始化；3）设备初始化；
    1. Qemu中设备模拟通过type_init先编译进系统，在module_call_init时进行回调，比如图中的xxx_register_types，在这些函数中都是根据TypeInfo类型信息来创建具体的实现信息；
    2. net_init_client用来创建网络设备，比如Tap设备；
    3. device_init_func根据Qemu命令的传入参数创建虚拟设备，比如Virtio-Net；

下边进入细节，the devil is in the details。

3. tap创建

从上文中，我们知道，Tap与Virtio-Net属于前后端的关系，最终是通过结构体分别指向对方，如下图：

  • NetClientState是网卡模拟的核心结构，表示网络设备中的几个端点，两个端点通过peer指向对方；

创建Tap设备的主要工作就是创建一个NetClientState结构，并添加到net_clients链表中：

函数的调用细节如下图：

  • 处理流程只关注了核心的处理流程，整个过程有很多关于传入参数的处理，选择性忽略了；
  • net_tap_init：与Host的tun驱动进行交互，其实质就是打开该设备文件，并进行相应的配置等；
  • net_tap_fd_init：根据net_tap_info结构，创建NetClientState，并进行相关设置，这里边net_tap_info结构体中的接收函数指针用于实际的数据传输处理；
  • tap_read_poll用于将fd添加到Qemu的AioContext中，用于异步响应，当有数据来临时，捕获事件并进行处理；

以上就是Tap后端的创建过程，下文将针对前端创建了。

4. virtio-net创建

这是一个复杂的流程。

4.1 数据结构

Qemu中用C语言实现了面向对象的模型，用于对设备进行抽象，精妙！
针对Virtio-Net设备，结构体及拓扑组织关系如下图：

  • DeviceState作为所有设备的父类，其中派生了VirtIODevice和PCIDevice，而本文研究的Virtio-Net派生自VirtIODevice；
  • Qemu中会虚拟一个PCI总线，同时创建virtio-net-pci，virtio-balloon-pci，virtio-scsi-pci等PCI代理设备，这些代理设备挂载在PCI总线上，同时会创建Virtio总线，用于挂载最终的设备，比如VirtIONet；
  • PCI代理设备就是一个纽带；

4.2 流程分析

与设备创建相关的三个函数，可以从device_init_func入口跟踪得知：

  • 当Qemu命令通过-device传入参数时，device_init_func会根据参数去查找设备，并最终调用到该设备对应的类初始化函数、对象初始化函数、以及realize函数；
  • 所以，我们的分析就是这三个入口；

4.2.1 class_init

  • 在网卡虚拟化过程中，参数只需要指定PCI代理设备即可，也就是-device virtio-net-pci, netdev=tap0，从而会调用到virtio_net_pci_class_init函数；
  • 由于实现了类的继承关系，在子类初始化之前，需要先调用父类的实现，图中也表明了继承关系以及调用函数顺序；
  • C语言实现继承，也就是将父对象放置在自己结构体的开始位置，图中的颜色能看出来；

4.2.2 instance_init

类初始化结束后，开始对象的创建：

  • 针对Virtio-Net-PCI的实例化比较简单，作为代理，负责将它的后继对象初始化，也就是本文的前端设备Virtio-Net；

4.2.3 realize

  • realize的调用，比较绕，简单来说，它的类继承关系中存在多个realize的函数指针，最终会从父类开始执行，一直调用到子类，而这些函数指针的初始化在什么时候做的呢？没错，就是在class_init类初始化的时候，进行了赋值，细节不表，结论可靠；
  • 最终的调用关系就如图了；

到目前为止，我们似乎都还没有看到Virtio-Net设备的相关操作，不用着急，已经很接近真相了：

  • virtio_net_pci_realize函数，会触发virtio_device_realize的调用，该函数是一个通用的virtio设备实现函数，所有的virtio设备都会调用，而我们的前端设备Virtio-Net也是virtio设备；
  • virtio_net_device_realize就到了我们的主角了，它进行了virtio通用的设置（后续在数据通信中再分析），还创建了一个NetClientState端点，与Tap设备对应，分别指向了对方，惺惺相惜，各自安好；
  • virtio_bus_device_plugged表示设备插入总线时的处理，完成的工作就是按照PCI总线规划，配置各类信息，以便与Guest OS中的virtio驱动交互，后续的文章再分析了；

本文基本捋清了虚拟网卡前端设备和后端设备的创建过程，完成的工作只是绑定了彼此，数据交互以及通知机制，留给后续吧。

参考

《 Virtual I/O Device (VIRTIO) Version 1.1》
https://www.redhat.com/en/blog/virtio-devices-and-drivers-overview-headjack-and-phone

欢迎关注个人公众号，不定期更新技术文章。

posted @ 2021-02-13 00:26  LoyenWang  阅读(7656)  评论(1)  编辑  收藏  举报