转载请注明:【转载自博客xelatex KVM】,并附本文链接。谢谢。
【注】文章中采用的版本:
- Linux-3.11,https://www.kernel.org/pub/linux/kernel/v3.x/linux-3.11.tar.gz
- qemu-kvm,git clone http://git.kernel.org/pub/scm/virt/kvm/qemu-kvm.git,
git checkout 4d9367b76f71c6d938cf8201392abe4bfb1136cb
一、Qemu的内存模型
Qemu中的内存模型,简单来说就是Qemu申请用户态内存并进行管理,并将该部分申请的内存注册到对应的加速器(如KVM)中。这样的模型有如下好处:
- 策略与机制分离。加速的机制由KVM负责,而如何调用加速的机制由Qemu负责
- 可以由Qemu设置多种内存模型,如UMA、NUMA等等
- 方便Qemu对特殊内存的管理(如MMIO)
- 内存的分配、回收、换出等都可以采用Linux原有的机制,不需要为KVM单独开发。
- 兼容其他加速器模型(或者无加速器,单纯使用Qemu做模拟)
所以在初始化阶段,Qemu需要做的有两方面工作:向KVM注册用户态内存空间,申请用户态内存空间。
Qemu主要通过如下结构来维护内存:
/* A system address space - I/O, memory, etc. */
struct AddressSpace {
MemoryRegion *root;
FlatView current_map;
int ioeventfd_nb;
MemoryRegionIoeventfd *ioeventfds;
};
AddressSpace设置了一段内存,其主要信息存储在root成员中,root成员是个MemoryRegion结构,主要存储内存区的结构。在Qemu中最主要的两个AddressSpace是address_space_memory和address_space_io,分别对应的MemoryRegion变量是system_memory和system_io。
二、Qemu初始化KVM内存流程
Qemu的主函数是vl.c中的main函数,其中调用了configure_accelerator(),是KVM初始化的配置部分。
configure_accelerator中首先根据命令行输入的参数找到对应的accelerator,这里是KVM。之后调用accel_list[i].init(),即kvm_init()。
在kvm_init()函数中主要做如下几件事情:
- s->fd = qemu_open("/dev/kvm", O_RDWR),打开kvm控制的总设备文件/dev/kvm
- s->vmfd = kvm_ioctl(s, KVM_CREATE_VM, 0),调用创建虚拟机的API,对应Linux kernel中的创建流程,请全文搜索kernel,关键词“KVM_CREATE_VM”
- kvm_check_extension,检查各种extension,并设置对应的features
- ret = kvm_arch_init(s),做一些体系结构相关的初始化,如msr、identity map、mmu pages number等等
- kvm_irqchip_create,调用kvm_vm_ioctl(s, KVM_CREATE_IRQCHIP)在KVM中虚拟IRQ芯片,详细流程请全文搜索
- memory_listener_register,该函数是初始化内存的主要函数,下面详细分析
memory_listener_register调用了两次,分别注册了kvm_memory_listener和kvm_io_listener,即通用的内存和MMIO是分开管理的。以通用的内存注册为例,函数首先在全局的memory_listener链表中添加了kvm_memory_listener,之后调用listener_add_address_space分别将该listener添加到address_space_memory和address_space_io中。
然后调用listener的region_add(即kvm_region_add()),该函数最终调用了kvm_set_user_memory_region(),其中调用kvm_vm_ioctl(s, KVM_SET_USER_MEMORY_REGION, &mem),该调用是最终将内存区域注册到kvm中的函数。
之后在vl.c的main函数中调用了cpu_exec_init_all() => memory_map_init(),设置system_memory和system_io。
至此初始化好了所有Qemu中需要维护的相关的内存结构,并完成了在KVM中的注册。下面需要初始化KVM中的MMU支持。
ram_size内存大小从内存被读取到ram_size中,在vl.c的main中调用machine->init()来初始化,machine是命令行指定的机器类型,默认的init是pc_init_pci
- 调用pc_init1,参数分别是system_memory,system_io,ram_size,boot_device,kernel_filename,kernel_cmdline,initrd_filename,cpu_model,pci_enabled,kvmclock_enabled
- 设置above_4g_mem_size和below_4g_mem_size
- 调用pc_memory_init设置ram,第5、6个参数分别是below_4g_mem_size和above_4g_mem_size,MemoryRegion是system_memory
- 调用memory_region_init_ram初始化ram
- 调用memory_region_init()初始化MemoryRegion ram
- 设置destructor memory_region_destructor_ram
- 调用qemu_ram_alloc()初始化ram空间,内部调用qemu_ram_alloc_from_ptr()
- 如果没有设置-mem-path参数,则进入到第二个else(if (xen_enabled()) {)
- if (kvm_enabled()),调用kvm_vmalloc
- 如果是TARGET_S390X,调用kvm_arch_vmalloc
- 否则调用qemu_vmalloc(此处走posix流程)
- 调用qemu_memalign->posix_memalign(),此处真正alloc memory并且aligned
- 或者直接调用malloc(在qemu_memalign中,没有_POSIX_C_SOURCE和CONFIG_BSD
- 调用memory_region_init_alias初始化ram_below_4g,设置MemoryRegion的一个alias
- if (above_4g_mem_size > 0),调用memory_region_init_alias初始化ram_above_4g,设置alias
- memory_region_init_ram初始化pc.rom
- 调用bochs_bios_init初始化bios
- 调用memory_region_init_ram初始化ram
这样就建立好了Qemu-KVM的内存结构。在KVM创建Qemu内存映射的入口在kernel中kvm_vm_ioctl的case KVM_SET_USER_MEMORY_REGION,调用kvm_vm_ioctl_set_memory_region。kvm中用kvm_memory_slot结构来维护队用户空间地址的映射。该部分会在其他文章中详细介绍。