随笔- 85 文章- 0 评论- 120 阅读- 22万

【转载】Linux虚拟化KVM-Qemu分析（四）之CPU虚拟化（2）

原文信息：
作者：LoyenWang
出处：https://www.cnblogs.com/LoyenWang/
公众号：LoyenWang
版权：本文版权归作者和博客园共有
转载：欢迎转载，但未经作者同意，必须保留此段声明；必须在文章中给出原文连接；否则必究法律责任

背景

Read the fucking source code! --By 鲁迅
A picture is worth a thousand words. --By 高尔基

说明：

KVM版本：5.9.1
QEMU版本：5.0.0
工具：Source Insight 3.5， Visio
文章同步在博客园：https://www.cnblogs.com/LoyenWang/

1. 概述

本文围绕ARMv8 CPU的虚拟化展开；
本文会结合Qemu + KVM的代码分析，捋清楚上层到底层的脉络；
本文会提供一个Sample Code，用于类比Qemu和KVM的关系，总而言之，大同小异，大题小做，大道至简，大功告成，大恩不言谢；

先来两段前戏。

1.1 CPU工作原理

AI的世界，程序的执行不再冰冷，CPU对a.out说，hello啊，world已经ok啦，下来return吧!

既然要说CPU的虚拟化，那就先简要介绍一下CPU的工作原理：

CPU的根本任务是执行指令，我们常说的取指-译码-执行-访存-写回，就是典型的指令Pipeline操作；
从CPU的功能出发，可以简要分成三个逻辑模块：
1. Control Unit：CPU的指挥中心，协调数据的移动；
2. ALU：运算单元，执行CPU内部所有的计算；
3. Register：寄存器和Cache，都算是CPU内部的存储单元，其中寄存器可用于存储需要被译码和执行的指令、数据、地址等；
CPU从内存中读取指令进行译码并执行，执行的过程中需要去访问内存中的数据，CPU内部的寄存器可以暂存中间的指令和数据等信息，通常说的CPU的context指的就是CPU寄存器值；

在硬件支持虚拟化之前，Qemu纯软件虚拟化方案，是通过tcg（tiny code generator）的方式来进行指令翻译，翻译成Host处理器架构的指令来执行。硬件虚拟化技术，是让虚拟机能直接执行在Host CPU上，让Host CPU直接来执行虚拟机，结合CPU的实际工作原理，应该怎么来理解呢？来张图：

CPU通过pc寄存器获取下一条执行指令，进行取指译码执行等操作，因此给定CPU一个Context，自然就能控制其执行某些代码；
CPU的虚拟化，最终目标让虚拟机执行在CPU上，无非也是要进行CPU的Context切换，控制CPU去执行对应的代码，下文会进一步阐述；

既然都讲CPU了，那就捎带介绍下ARMv8的寄存器吧：

通用寄存器：

图中描述的是EL3以下，AArch32与AArch64寄存器对应关系；
AArch64中，总共31个通用寄存器，64bit的为X0-X30，32bit的为W0-W30；

特殊用途寄存器：

这些特殊用途的寄存器，主要分为三种：1）存放异常返回地址的ELR_ELx；2）各个EL的栈指针SP_ELx；3）CPU的状态相关寄存器；

CPU的状态PSTATE：

CPU的状态在AArch32时是通过CPSR来获取，在AArch64中，使用PSTATE，PSTATE不是一个寄存器，它表示的是保存当前CPU状态信息的一组寄存器或一些标志信息的统称；

好了，ARMv8的介绍该打住了，否则要跑偏了。。。

1.2 guest模式

Linux系统有两种执行模式：kernel模式与user模式，为了支持虚拟化功能的CPU，KVM向Linux内核提供了guest模式，用于执行虚拟机系统非I/O的代码；
user模式，对应的是用户态执行，Qemu程序就执行在user模式下，并循环监听是否有I/O需要模拟处理；
kernel模式，运行kvm模块代码，负责将CPU切换到VM的执行，其中包含了上下文的load/restore；
guest模式，本地运行VM的非I/O代码，在某些异常情况下会退出该模式，Host OS开始接管；

好了啦，前戏结束，开始直奔主题吧。

2. 流程分析

不管你说啥，我上来就是一句中国万岁，对不起，跑题了。我上来就是一张Qemu初始化流程图：

看过Qemu源代码的人可能都有种感觉，一开始看好像摸不到门框，这图简要画了下关键模块的流程；
Qemu的源代码，后续的文章会详细介绍，本文只focus在vcpu相关部分；

除了找到了qemu_init_vcpu的入口，这张图好像跟本文的vcpu的虚拟化关系不是很大，不管了，就算是给后续的Qemu分析打个广告吧。

2.1 vcpu的创建

2.1.1 qemu中vcpu创建

Qemu初始化流程图中，找到了qemu_init_vcpu的入口，顺着这个qemu_init_vcpu就能找到与底层KVM模块交互的过程；
Qemu中为每个vcpu创建了一个线程，操作设备节点来创建和初始化vcpu；

所以，接力棒甩到了KVM内核模块。

2.1.2 kvm中vcpu创建

来一张前文的图：

前文中分析过，系统在初始化的时候会注册字符设备驱动，设置好了各类操作函数集，等待用户层的ioctl来进行控制；
Qemu中设置KVM_CREATE_VCPU，将触发kvm_vm_ioctl_create_vcpu的执行，完成vcpu的创建工作；

在底层中进行vcpu的创建工作，主要是分配一个kvm_vcpu结构，并且对该结构中的字段进行初始化；
其中有一个用于与应用层进行通信的数据结构struct kvm_run，分配一页内存，应用层会调用mmap来进行映射，并且会从该结构中获取到虚拟机的退出原因；
kvm_arch_vcpu_create主要完成体系架构相关的初始化，包括timer，pmu，vgic等；
create_hyp_mappings将kvm_vcpu结构体建立映射，以便在Hypervisor模式下能访问该结构；
create_vcpu_fd注册了kvm_vcpu_fops操作函数集，针对vcpu进行操作，Qemu中设置KVM_ARM_VCPU_INIT，将触发kvm_arch_vcpu_ioctl_vcpu_init的执行，完成的工作主要是vcpu的核心寄存器，系统寄存器等的reset操作，此外还包含了上层设置下来的值，放置在struct kvm_vcpu_init中；

2.2 vcpu的执行

2.2.1 qemu中vcpu的执行

Qemu中为每一个vcpu创建一个用户线程，完成了vcpu的初始化后，便进入了vcpu的运行，而这是通过kvm_cpu_exec函数来完成的；
kvm_cpu_exec函数中，调用kvm_vcpu_ioctl(,KVM_RUN,)来让底层的物理CPU进行运行，并且监测VM的退出，而这个退出原因就是存在放在kvm_run->exit_reason中，也就是上文中提到过的应用层与底层交互的机制；

2.2.2 kvm中vcpu的执行

用户层通过KVM_RUN命令，将触发KVM模块中kvm_arch_vcpu_ioctl_run函数的执行：

vcpu最终是要放置在物理CPU上执行的，很显然，我们需要进行context的切换：保存好Host的Context，并切换到Guest的Context去执行，最终在退出时再恢复回Host的Context；
__guest_enter函数完成最终的context切换，进入Guest的执行，当Guest退出时，fixup_guest_exit将会处理exit_code，判断是否继续返回Guest执行；
当最终Guest退出到Host时，Host调用handle_exit来处理异常退出，根据kvm_get_exit_handler去查询异常处理函数表对应的处理函数，最终进行执行处理；

3. Sample Code

上文已经将Qemu+KVM的CPU的虚拟化大概的轮廓已经介绍了，方方面面，问题不大；
来一段Sample Code类比Qemu和KVM的关系，在Ubuntu16.04系统上进行测试；

简要介绍一下：

tiny_kernel.S，相当于Qemu中运行的Guest OS，完成的功能很简单，没错，就是Hello, world打印；
tiny_qemu.c，相当于Qemu，用于加载Guest到vCPU上运行，最终通过kvm放到物理CPU上运行；

鲁迅在1921年的时候，说过这么一句话：Talk is cheap, show me the code。

tiny_kernel.S：

start:
/* Hello */
mov     $0x48, %al
outb    %al, $0xf1
mov     $0x65, %al
outb    %al, $0xf1
mov     $0x6c, %al
outb    %al, $0xf1
mov     $0x6c, %al
outb    %al, $0xf1
mov     $0x6f, %al
outb    %al, $0xf1
mov     $0x2c, %al
outb    %al, $0xf1


/* world */

mov     $0x77, %al

outb    %al, $0xf1

mov     $0x6f, %al

outb    %al, $0xf1

mov     $0x72, %al

outb    %al, $0xf1

mov     $0x6c, %al

outb    %al, $0xf1

mov     $0x64, %al

outb    %al, $0xf1




mov     $0x0a, %al

outb    %al, $0xf1


hlt

tiny_qemu.c：

#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <assert.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <sys/ioctl.h>
#include <linux/kvm.h>
#include <sys/mman.h>


#define KVM_DEV     "/dev/kvm"

#define TINY_KERNEL_FILE    "./tiny_kernel.bin"

#define PAGE_SIZE  0x1000




int main(void)

{

int kvm_fd;

int vm_fd;

int vcpu_fd;

int tiny_kernel_fd;

int ret;

int mmap_size;



<span class="hljs-class"><span class="hljs-keyword">struct</span> <span class="hljs-title">kvm_sregs</span> <span class="hljs-title">sregs</span>;</span>
<span class="hljs-class"><span class="hljs-keyword">struct</span> <span class="hljs-title">kvm_regs</span> <span class="hljs-title">regs</span>;</span>
<span class="hljs-class"><span class="hljs-keyword">struct</span> <span class="hljs-title">kvm_userspace_memory_region</span> <span class="hljs-title">mem</span>;</span>
<span class="hljs-class"><span class="hljs-keyword">struct</span> <span class="hljs-title">kvm_run</span> *<span class="hljs-title">kvm_run</span>;</span>
<span class="hljs-keyword">void</span> *userspace_addr;

<span class="hljs-comment">/* open kvm device */</span>
kvm_fd = open(KVM_DEV, O_RDWR);
assert(kvm_fd &gt; <span class="hljs-number">0</span>);

<span class="hljs-comment">/* create VM */</span>
vm_fd = ioctl(kvm_fd, KVM_CREATE_VM, <span class="hljs-number">0</span>);
assert(vm_fd &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* create VCPU */</span>
vcpu_fd = ioctl(vm_fd, KVM_CREATE_VCPU, <span class="hljs-number">0</span>);
assert(vcpu_fd &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* open tiny_kernel binary file */</span>
tiny_kernel_fd = open(TINY_KERNEL_FILE, O_RDONLY);
assert(tiny_kernel_fd &gt; <span class="hljs-number">0</span>);
<span class="hljs-comment">/* map 4K into memory */</span>
userspace_addr = mmap(<span class="hljs-literal">NULL</span>, PAGE_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, <span class="hljs-number">-1</span>, <span class="hljs-number">0</span>);
assert(userspace_addr &gt; <span class="hljs-number">0</span>);
<span class="hljs-comment">/* read tiny_kernel binary into the memory */</span>
ret = read(tiny_kernel_fd, userspace_addr, PAGE_SIZE);
assert(ret &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* set user memory region */</span>
mem.slot = <span class="hljs-number">0</span>;
mem.flags = <span class="hljs-number">0</span>;
mem.guest_phys_addr = <span class="hljs-number">0</span>;
mem.memory_size = PAGE_SIZE;
mem.userspace_addr = (<span class="hljs-keyword">unsigned</span> <span class="hljs-keyword">long</span>)userspace_addr;
ret = ioctl(vm_fd, KVM_SET_USER_MEMORY_REGION, &amp;mem);
assert(ret &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* get kvm_run */</span>
mmap_size = ioctl(kvm_fd, KVM_GET_VCPU_MMAP_SIZE, <span class="hljs-literal">NULL</span>);
assert(mmap_size &gt;= <span class="hljs-number">0</span>);
kvm_run = (struct kvm_run *)mmap(<span class="hljs-literal">NULL</span>, mmap_size, PROT_READ | PROT_WRITE, MAP_SHARED, vcpu_fd, <span class="hljs-number">0</span>);
assert(kvm_run &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* set cpu registers */</span>
ret = ioctl(vcpu_fd, KVM_GET_SREGS, &amp;sregs);
assert(ret &gt;= <span class="hljs-number">0</span>);
sregs.cs.base = <span class="hljs-number">0</span>;
sregs.cs.selector = <span class="hljs-number">0</span>;
ret = ioctl(vcpu_fd, KVM_SET_SREGS, &amp;sregs);
<span class="hljs-built_in">memset</span>(&amp;regs, <span class="hljs-number">0</span>, <span class="hljs-keyword">sizeof</span>(struct kvm_regs));
regs.rip = <span class="hljs-number">0</span>;
ret = ioctl(vcpu_fd, KVM_SET_REGS, &amp;regs);
assert(ret &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* vcpu run */</span>
<span class="hljs-keyword">while</span> (<span class="hljs-number">1</span>) {
    ret = ioctl(vcpu_fd, KVM_RUN, <span class="hljs-literal">NULL</span>);
    assert(ret &gt;= <span class="hljs-number">0</span>);

    <span class="hljs-keyword">switch</span>(kvm_run-&gt;exit_reason) {
        <span class="hljs-keyword">case</span> KVM_EXIT_HLT:
            <span class="hljs-built_in">printf</span>(<span class="hljs-string">"----KVM EXIT HLT----\n"</span>);
            close(kvm_fd);
            close(tiny_kernel_fd);
            <span class="hljs-keyword">return</span> <span class="hljs-number">0</span>;
        <span class="hljs-keyword">case</span> KVM_EXIT_IO:
            <span class="hljs-built_in">putchar</span>(*(((<span class="hljs-keyword">char</span> *)kvm_run) + kvm_run-&gt;io.data_offset));
            <span class="hljs-keyword">break</span>;
        <span class="hljs-keyword">default</span>:
            <span class="hljs-built_in">printf</span>(<span class="hljs-string">"Unknow exit reason: %d\n"</span>, kvm_run-&gt;exit_reason);
            <span class="hljs-keyword">break</span>;
    }
}

<span class="hljs-keyword">return</span> <span class="hljs-number">0</span>;


<span class="hljs-class"><span class="hljs-keyword">struct</span> <span class="hljs-title">kvm_sregs</span> <span class="hljs-title">sregs</span>;</span>
<span class="hljs-class"><span class="hljs-keyword">struct</span> <span class="hljs-title">kvm_regs</span> <span class="hljs-title">regs</span>;</span>
<span class="hljs-class"><span class="hljs-keyword">struct</span> <span class="hljs-title">kvm_userspace_memory_region</span> <span class="hljs-title">mem</span>;</span>
<span class="hljs-class"><span class="hljs-keyword">struct</span> <span class="hljs-title">kvm_run</span> *<span class="hljs-title">kvm_run</span>;</span>
<span class="hljs-keyword">void</span> *userspace_addr;

<span class="hljs-comment">/* open kvm device */</span>
kvm_fd = open(KVM_DEV, O_RDWR);
assert(kvm_fd &gt; <span class="hljs-number">0</span>);

<span class="hljs-comment">/* create VM */</span>
vm_fd = ioctl(kvm_fd, KVM_CREATE_VM, <span class="hljs-number">0</span>);
assert(vm_fd &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* create VCPU */</span>
vcpu_fd = ioctl(vm_fd, KVM_CREATE_VCPU, <span class="hljs-number">0</span>);
assert(vcpu_fd &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* open tiny_kernel binary file */</span>
tiny_kernel_fd = open(TINY_KERNEL_FILE, O_RDONLY);
assert(tiny_kernel_fd &gt; <span class="hljs-number">0</span>);
<span class="hljs-comment">/* map 4K into memory */</span>
userspace_addr = mmap(<span class="hljs-literal">NULL</span>, PAGE_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, <span class="hljs-number">-1</span>, <span class="hljs-number">0</span>);
assert(userspace_addr &gt; <span class="hljs-number">0</span>);
<span class="hljs-comment">/* read tiny_kernel binary into the memory */</span>
ret = read(tiny_kernel_fd, userspace_addr, PAGE_SIZE);
assert(ret &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* set user memory region */</span>
mem.slot = <span class="hljs-number">0</span>;
mem.flags = <span class="hljs-number">0</span>;
mem.guest_phys_addr = <span class="hljs-number">0</span>;
mem.memory_size = PAGE_SIZE;
mem.userspace_addr = (<span class="hljs-keyword">unsigned</span> <span class="hljs-keyword">long</span>)userspace_addr;
ret = ioctl(vm_fd, KVM_SET_USER_MEMORY_REGION, &amp;mem);
assert(ret &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* get kvm_run */</span>
mmap_size = ioctl(kvm_fd, KVM_GET_VCPU_MMAP_SIZE, <span class="hljs-literal">NULL</span>);
assert(mmap_size &gt;= <span class="hljs-number">0</span>);
kvm_run = (struct kvm_run *)mmap(<span class="hljs-literal">NULL</span>, mmap_size, PROT_READ | PROT_WRITE, MAP_SHARED, vcpu_fd, <span class="hljs-number">0</span>);
assert(kvm_run &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* set cpu registers */</span>
ret = ioctl(vcpu_fd, KVM_GET_SREGS, &amp;sregs);
assert(ret &gt;= <span class="hljs-number">0</span>);
sregs.cs.base = <span class="hljs-number">0</span>;
sregs.cs.selector = <span class="hljs-number">0</span>;
ret = ioctl(vcpu_fd, KVM_SET_SREGS, &amp;sregs);
<span class="hljs-built_in">memset</span>(&amp;regs, <span class="hljs-number">0</span>, <span class="hljs-keyword">sizeof</span>(struct kvm_regs));
regs.rip = <span class="hljs-number">0</span>;
ret = ioctl(vcpu_fd, KVM_SET_REGS, &amp;regs);
assert(ret &gt;= <span class="hljs-number">0</span>);

<span class="hljs-comment">/* vcpu run */</span>
<span class="hljs-keyword">while</span> (<span class="hljs-number">1</span>) {
    ret = ioctl(vcpu_fd, KVM_RUN, <span class="hljs-literal">NULL</span>);
    assert(ret &gt;= <span class="hljs-number">0</span>);

    <span class="hljs-keyword">switch</span>(kvm_run-&gt;exit_reason) {
        <span class="hljs-keyword">case</span> KVM_EXIT_HLT:
            <span class="hljs-built_in">printf</span>(<span class="hljs-string">"----KVM EXIT HLT----\n"</span>);
            close(kvm_fd);
            close(tiny_kernel_fd);
            <span class="hljs-keyword">return</span> <span class="hljs-number">0</span>;
        <span class="hljs-keyword">case</span> KVM_EXIT_IO:
            <span class="hljs-built_in">putchar</span>(*(((<span class="hljs-keyword">char</span> *)kvm_run) + kvm_run-&gt;io.data_offset));
            <span class="hljs-keyword">break</span>;
        <span class="hljs-keyword">default</span>:
            <span class="hljs-built_in">printf</span>(<span class="hljs-string">"Unknow exit reason: %d\n"</span>, kvm_run-&gt;exit_reason);
            <span class="hljs-keyword">break</span>;
    }
}

<span class="hljs-keyword">return</span> <span class="hljs-number">0</span>;
}

为了表明我没有骗人，上一张在Ubuntu16.04的虚拟机上运行的结果图吧：

草草收工吧。

4. 参考

ARMv8-A Architecture Overview
ARMv8 Techinology Preview
Arm Architecture Reference Manual, Armv8, for Armv8-A architecture profile
Virtual lockstep for fault tolerance and architectural vulnerability analysis

欢迎关注个人公众号，不定期分享技术文章：

posted @ 2021-06-20 20:53 沐多阅读(239) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗？
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句：使用策略模式优化代码结构
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义

公告

昵称：沐多
园龄： 7年5个月
粉丝： 200
关注： 7

+加关注

2025年3月

日

一

二

三

四

五

六

沐多

【转载】Linux虚拟化KVM-Qemu分析（四）之CPU虚拟化（2）

背景

1. 概述

1.1 CPU工作原理

1.2 guest模式

2. 流程分析

2.1 vcpu的创建

2.1.1 qemu中vcpu创建

2.1.2 kvm中vcpu创建

2.2 vcpu的执行

2.2.1 qemu中vcpu的执行

2.2.2 kvm中vcpu的执行

3. Sample Code

4. 参考

公告

搜索

常用链接

我的标签

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论