virtio简介（二） —— virtio-balloon guest侧驱动
一： 概要
在后端模拟出balloon设备后，gustos在启动时会扫描到此设备，遵循linux设备模型调用设备的初始化工作。Virtio-balloon属于 virtio体系，很多工作的细节需要再分析virtio的工作流程，本章暂且只分析balloon的行为，涉及virtio的部分插桩分析向后再补充分析。
balloon执行流程如下：
二：驱动创建
2.1 驱动注册
Linux设备驱动模型中，各驱动可以按总线类别进行划分，且每个总线类别下可以挂载“驱动”和“设备”两类对象。内核就维护了这样一张“总线”到“驱动和设备”的总表，每当一个新驱动加进内核时，内核会扫描该驱动所挂载总线上的所有设备，并通过比对驱动中的id_table字段和设备配置空间中的Device ID，如果相同则代表该驱动可以为该设备服务，那内核就会针对该设备调用总线的probe函数(如果总线没有probe函数，再调用驱动的probe函数)。
另外一种情况是往总线上插入一个新设备，内核同样会扫描总线上的所有驱动，看哪个驱动匹配该设备，如果匹配也对该设备调用总线的probe函数(如果总线没有probe函数，再调用驱动的probe函数)。
Linux内核中前端代码主要包括driver/virtio目录下相关文件及driver/virtio_balloon.c，最终生成的内核模块有virtio.ko，virtio_ring.ko，virtio_pci.ko和virtio_balloon.ko。
由于virtio-balloon-pci设备是virtio-pci设备，而virtio-pci设备又是pci设备，所以virtio-pci设备的驱动会注册到pci总线上面，因此，整个初始化过程如下:
(1)内核会首先找到virito-pci.ko这个驱动模块，并依次加载virtio.ko,virtio-ring.ko和virtio_pci.ko (virtio_pci.ko依赖前两个模块)执行其模块初始化函数，其中，virtio.ko模块会在系统中注册一种新的总线类型virtio总线，virtio_pci的初始化函数会调用其注册的virtio_pci_probe函数；
(2)virtio_pci_probe注册一个virtio设备(register_virtio_device)；
(3)内核再次为这个virtio设备搜索驱动模块，最终找到virtio_balloon.ko并加载调用其模块初始化函数；
(4)virtio_balloon初始化函数在virtio总线上添加了virtio_balloon驱动并调用了总线的probe函数(总线的probe函数优先级高于总线上设备的probe函数)即virtio_dev_probe；
(5)virtio_dev_probe调用virtballoon_probe完成最后的初始化任务。
我们最终需要关注的是virtballoon_probe这个函数是怎么被调用到的，linux设备初始化开始到调用到virtballoon_probe的过程简化如下，仅供参考：
驱动可执行的动作包含在virtio_balloon_driver定义的结构体中。先来看下这个结构体的内容，文件位置driver/virtio/virtio_balloon.c。
static unsigned int features[] = {
VIRTIO_BALLOON_F_MUST_TELL_HOST,
VIRTIO_BALLOON_F_STATS_VQ,
VIRTIO_BALLOON_F_DEFLATE_ON_OOM,
};
static struct virtio_driver virtio_balloon_driver = {
.feature_table = features,
.feature_table_size = ARRAY_SIZE(features),
.driver.name = KBUILD_MODNAME,
.driver.owner = THIS_MODULE,
.id_table = id_table,
.probe = virtballoon_probe,
.remove = virtballoon_remove,
.config_changed = virtballoon_changed,
#ifdef CONFIG_PM_SLEEP
.freeze = virtballoon_freeze,
.restore = virtballoon_restore,
#endif
};
module_virtio_driver(virtio_balloon_driver);
可以看到，注册的 driver中注册了feature属性，driver的名称和owner，驱动加载的probe卸载的remove，感知变化的config_changed，这三个函数做了主要的工作。 先来看下加载做了什么工作。
static int virtballoon_probe(struct virtio_device *vdev)
{
struct virtio_balloon *vb;
int err;
//device的get回调函数，用来获取qemu侧模拟的设备的config数据
//回调在virtio_pci_modern.c中注册，原型为vp_get
if (!vdev->config->get) {
dev_err(&vdev->dev, "%s failure: config access disabled\n",
__func__);
return -EINVAL;
}
//申请一个virtio_balloon结构
vdev->priv = vb = vb_dev = kmalloc(sizeof(*vb), GFP_KERNEL);
if (!vb) {
err = -ENOMEM;
goto out;
}
//需要释放的页面默认为0，即gust默认保留全部页面，不使用balloon释放
vb->num_pages = 0;
mutex_init(&vb->balloon_lock);
//初始化了两个工作队列，用于通知对应工作队列有消息到达，需要被唤醒
init_waitqueue_head(&vb->config_change);
init_waitqueue_head(&vb->acked);
vb->vdev = vdev;
vb->need_stats_update = 0;
//尝试申请用于balloon的页面，如果失败一次则增加一
//用来记录失败次数，如果短时间失败过多表明gust无多余内存可提供给balloon
vb->alloc_page_tried = 0;
//是否停止balloon，如gustos发生了lowmemkiller即内存不够gust使用，则停止balloon
atomic_set(&vb->stop_balloon, 0);
balloon_devinfo_init(&vb->vb_dev_info);
#ifdef CONFIG_BALLOON_COMPACTION
vb->vb_dev_info.migratepage = virtballoon_migratepage;
#endif
//初始化virtqueue，用于和后端设备进行通信
//创建了3个queue用于ivq/dvq/svq时间的信息传输
//同时注册了三个callback函数，用来唤醒上面写的两个工作队列
err = init_vqs(vb);
if (err)
goto out_free_vb;
//向oom的notify链表中添加处理回调函数，在out_of_memory函数中会调用
vb->nb.notifier_call = virtballoon_oom_notify;
vb->nb.priority = VIRTBALLOON_OOM_NOTIFY_PRIORITY;
err = register_oom_notifier(&vb->nb);
if (err < 0)
goto out_oom_notify;
//读取设备侧config的status，检查VIRTIO_CONFIG_S_DRIVER_OK是否置位
//若已置位说明设备侧已经可用
virtio_device_ready(vdev);
//启动vballoon线程，balloon主要操作在这里完成
vb->thread = kthread_run(balloon, vb, "vballoon");
if (IS_ERR(vb->thread)) {
err = PTR_ERR(vb->thread);
goto out_del_vqs;
}
return 0;
out_del_vqs:
unregister_oom_notifier(&vb->nb);
out_oom_notify:
vdev->config->del_vqs(vdev);
out_free_vb:
kfree(vb);
out:
return err;
}
可以看到，这里的主要工作有：
1. 通过init_waitqueue_head初始化了两个工作队列用来接收QEMU发来的notify
2. 通过init_vqs初始化了3个 virt_queue用来和qemu发送balloon进行inflate/deflate的page地址信息以及callback回调
3. 启动内核线程执行vballoon，执行balloon的具体操作
2.2 vballoon如何运作
static int balloon(void *_vballoon)
{
struct virtio_balloon *vb = _vballoon;
//注册工作队列的唤醒函数
DEFINE_WAIT_FUNC(wait, woken_wake_function);
set_freezable();
while (!kthread_should_stop()) {
s64 diff;
try_to_freeze();
//将wait添加到config_change的队列，等待唤醒
//唤醒操作需要virtballoon_changed处理，其注册到了驱动的config_changed
//qemu执行virtio_notify_config发送notify时会被调用
/*gust侧唤醒队列的调用栈如下
vp_interrupt
-> vp_config_changed
-> virtio_config_changed
-> __virtio_config_changed
-> drv->config_changed(virtballoon_changed)
*/
add_wait_queue(&vb->config_change, &wait);
for (;;) {
//towards_target用来计算要释放的page数量->num_pages
if (((diff = towards_target(vb)) != 0 &&
vb->alloc_page_tried < 5) ||
vb->need_stats_update ||
!atomic_read(&vb->stop_balloon) ||
kthread_should_stop() ||
freezing(current))
//需要执行balloon则退出这层循环
break;
wait_woken(&wait, TASK_INTERRUPTIBLE, MAX_SCHEDULE_TIMEOUT);
vb->alloc_page_tried = 0;
atomic_set(&vb_dev->stop_balloon, 0);
}
//去除等待队列，处理时暂不接受新的balloon的notify
remove_wait_queue(&vb->config_change, &wait);
//更新stat信息，在初始化时置零，在stats_request调用时置一，并唤醒config_change队列
//stats_request放入了virtqueue的callback
if (vb->need_stats_update)
stats_handle_request(vb);
//diff大于零表示需要重gust申请内存放入balloon，释放内存
//这样gust可用的内存减少，因为内存释放所以host可用内存增多
if (diff > 0)
fill_balloon(vb, diff);
//diff小于零，表示gust需要从balloon中回收内存
//这样gust可用内存增加，host内存被gust占用则可用内存减少
else if (diff < 0)
leak_balloon(vb, -diff);
//更新balloon中记录的actual，刷新balloon实际申请到或释放掉的内存
update_balloon_size(vb);
/*
* For large balloon changes, we could spend a lot of time
* and always have work to do. Be nice if preempt disabled.
*/
cond_resched();
}
return 0;
}
主要涉及到的处理：
1. 添加等待队列，等待config_change被唤醒，即QEMU有执行balloon操作
2. 计算需要申请或者释放的空间，即diff值
3. 如果需要申请或者释放空间，则调用fill_balloon或者leak_balloon进行操作
4. 更新balloon实际占用的空间，记录到actual变量中，并通知给QEMU
计算diff值的操作如下
static inline s64 towards_target(struct virtio_balloon *vb)
{
s64 target;
u32 num_pages;
//获取最新的num_pages数据
virtio_cread(vb->vdev, struct virtio_balloon_config, num_pages,
&num_pages);
/* Legacy balloon config space is LE, unlike all other devices. */
if (!virtio_has_feature(vb->vdev, VIRTIO_F_VERSION_1))
num_pages = le32_to_cpu((__force __le32)num_pages);
target = num_pages;
//使用最新的num_pages数据和已有的数据做差
return target - vb->num_pages;
}
2.3 balloon充气过程
static void fill_balloon(struct virtio_balloon *vb, size_t num)
{
struct balloon_dev_info *vb_dev_info = &vb->vb_dev_info;
/* We can only do one array worth at a time. */
num = min(num, ARRAY_SIZE(vb->pfns));
mutex_lock(&vb->balloon_lock);
for (vb->num_pfns = 0; vb->num_pfns < num;
vb->num_pfns += VIRTIO_BALLOON_PAGES_PER_PAGE) {
//从gust空间申请一个页面，并且加入到vb_dev_info->pages链表中
//并标记page的mapcount和设定private标志。这样可以让page不会被kernel继续使用
struct page *page = balloon_page_enqueue(vb_dev_info);
if (!page) {
dev_info_ratelimited(&vb->vdev->dev,
"Out of puff! Can't get %u pages\n",
VIRTIO_BALLOON_PAGES_PER_PAGE);
vb->alloc_page_tried++;
/* Sleep for at least 1/5 of a second before retry. */
msleep(200);
break;
}
//清零页面申请失败计数
vb->alloc_page_tried = 0;
//填充vb->pfns数组对应项（不太清楚作用，需再分析）
set_page_pfns(vb, vb->pfns + vb->num_pfns, page);
//num_pages为通知QEMU侧申请到的页面数量
vb->num_pages += VIRTIO_BALLOON_PAGES_PER_PAGE;
if (!virtio_has_feature(vb->vdev,
VIRTIO_BALLOON_F_DEFLATE_ON_OOM))
adjust_managed_page_count(page, -1);
}
/* Did we get any? */
if (vb->num_pfns != 0)
//通过ivq队列将申请到的页面信息发送给qemu
tell_host(vb, vb->inflate_vq);
mutex_unlock(&vb->balloon_lock);
}
基本流程可以总结为：从gust空间申请页面放入balloon的链表中，并做标记使该内存内核不可用，填充设备的pfn数组，然后通过ivq通知设备侧进行处理。
2.4 leak_balloon过程
static unsigned leak_balloon(struct virtio_balloon *vb, size_t num)
{
unsigned num_freed_pages;
struct page *page;
struct balloon_dev_info *vb_dev_info = &vb->vb_dev_info;
/* We can only do one array worth at a time. */
num = min(num, ARRAY_SIZE(vb->pfns));
mutex_lock(&vb->balloon_lock);
/* We can't release more pages than taken */
num = min(num, (size_t)vb->num_pages);
for (vb->num_pfns = 0; vb->num_pfns < num;
vb->num_pfns += VIRTIO_BALLOON_PAGES_PER_PAGE) {
//将申请到balloon的页面释放出来
page = balloon_page_dequeue(vb_dev_info);
if (!page)
break;
//设置pfn数组
set_page_pfns(vb, vb->pfns + vb->num_pfns, page);
vb->num_pages -= VIRTIO_BALLOON_PAGES_PER_PAGE;
}
num_freed_pages = vb->num_pfns;
/*
* Note that if
* virtio_has_feature(vdev, VIRTIO_BALLOON_F_MUST_TELL_HOST);
* is true, we *have* to do it in this order
*/
if (vb->num_pfns != 0)
//使用dvq通知qemu进行处理
tell_host(vb, vb->deflate_vq);
release_pages_balloon(vb);
mutex_unlock(&vb->balloon_lock);
return num_freed_pages;
}
leak_balloon的过程和fill_balloon刚好相反，它会释放存放在balloon的page链表中的page项归还给gust，同理，这部分 内存会被qemu从host申请回来留给gustos备用，此时host主机的可用内存就减少了。
