KVM 管理工具:libvirt
libvirt 简介
libvirt 是目前使用最为广泛的对 KVM 虚拟机进行管理的工具和应用程序接口。
libvirt 可以支持多种 hypervisor,包括 Xen,Hyper-V 和 qemu-kvm 等。同时,相比于使用 qemu 通过参数指定创建虚拟机的方式,使用 libvirt 创建虚机更简单,更人性化。
libvirt 由应用程序接口 API,守护进程 libvirtd 和 libvirt 的默认管理工具组成。其中,libvirt API 为其它虚机管理工具,如 virsh,virt-manager 等提供应用程序接口,使得这些虚机管理工具通过调用 libvirt 的 API 实现虚机的管理。libvirtd 负责执行节点上虚机(domain) 的管理工作。libvirt 的默认管理工具是 virsh,它是 libvirt 默认提供的虚机的管理工具,通过 virsh 提供的一系列接口命令可以实现对虚机的管理。
libvirt XML 配置
libvirt 有几个重要概念,分别是:
-
节点 Node:节点是虚机(domain) 运行的物理机器,hypervisor 也运行在节点之上。
-
domain: 虚机在 libvirt 中表示为 domain(域),一个 domain 就是一个虚机。
-
hypervisor:虚拟机监控器,KVM 就是使用硬件辅助的全虚拟化方案的 hepervisor。
在 libvirt 中创建 domain 的流程是:通过 XML 文件定义好 domain 的配置,然后,virsh 根据定义好的 XML 文件创建指定 domain。
domain XML 配置
disk(磁盘)
|
任何磁盘设备,包括软盘(floppy)、硬盘(hard disk)、光驱(cdrom)或者半虚拟化驱动都使用 <disk> 元素来定义。方式:
<disk type='**' device='**'>。其中:
type 用来指定device source 的类型:"file", "block", "dir", "network", 或者 "volume"。具体的 source 由 <source> 标签定义。
device 用来指定 device target 的类型:"floppy", "disk", "cdrom", and "lun", 默认为 "disk" 。具体的 target 由 <target> 标签定义。
(1)volume 类型的 disk
<disk type='volume' device='disk'> <driver name='qemu' type='raw'/> <source pool='blk-pool0' volume='blk-pool0-vol0'/> <target dev='hdk' bus='ide'/> </disk> (2)file 类型的 disk
<disk type='file' snapshot='external'> <driver name="tap" type="aio" cache="default"/> <source file='/var/lib/xen/images/fv0' startupPolicy='optional' /> <target dev='hda' bus='ide'/> </disk> (3)block 类型的 disk
<disk type='block' device='cdrom'> <driver name='qemu' type='raw'/> <target dev='hdd' bus='ide' tray='open'/> <readonly/> </disk> (4)network 类型的 disk
<disk type='network' device='cdrom'> <driver name='qemu' type='raw'/> <source protocol="http" name="url_path"> <host name="hostname" port="80"/> </source> <target dev='hde' bus='ide' tray='open'/> <readonly/> </disk> |
Host device assignment (主机设备分配)
|
<hostdev mode='subsystem' type='usb'> #USB 设备直接分配 <source startupPolicy='optional'> <vendor id='0x1234'/> <product id='0xbeef'/> </source> <boot order='2'/> </hostdev> <hostdev mode='subsystem' type='pci' managed='yes'> #PCI 设备直接分配 <source> <address domain='0x0000' bus='0x06' slot='0x02' function='0x0'/> </source> <boot order='1'/> <rom bar='on' file='/etc/fake/boot.bin'/> </hostdev> |
Network interface (网卡)
|
有几种 interface 类型:
(1)type = ‘network’ 定义一个连接 Virtual network 的 interface
<devices> <interface type='network'> <source network='default'/> #虚拟网络的名称为 ‘default’ </interface> ... <interface type='network'> <source network='default' portgroup='engineering'/> <target dev='vnet7'/> <mac address="00:11:22:33:44:55"/> <virtualport> <parameters instanceid='09b11c53-8b5c-4eeb-8f00-d84eaa0aaa4f'/> </virtualport> </interface> </devices> (2)type=‘birdge’ 定义一个 Bridge to LAN(桥接到物理网络)的interface:前提是主机上存在一个 bridge,该 bridge 已经连到物理 LAN
<interface type='bridge'> #连接到 br0 <source bridge='br0'/> </interface> <interface type='bridge'> #连接到br1 <source bridge='br1'/> <target dev='vnet7'/> <mac address="00:11:22:33:44:55"/> </interface> <interface type='bridge'> #连接到 Open vSwith bridge ovsbr <source bridge='ovsbr'/> <virtualport type='openvswitch'> <parameters profileid='menial' interfaceid='09b11c53-8b5c-4eeb-8f00-d84eaa0aaa4f'/> </virtualport> </interface> (3)type=‘ethernet’定义一个使用指定脚本连接到 LAN 的 interface
<devices> <interface type='ethernet'> <target dev='vnet7'/> <script path='/etc/qemu-ifup-mynet'/> </interface> </devices> (4)type=‘direct’ 定义一个直接连到物理网卡(Direct attachment to physical interface)的 interface:需要 Linux macvtap 驱动支持
<interface type='direct' trustGuestRxFilters='no'> <source dev='eth0' mode='vepa'/> </interface> (5)type=‘hostdev’ 定义一个由主机 PCI 网卡直接分配(PCI Passthrough)的 interface:分配主机上的网卡给虚机
<devices> <interface type='hostdev' managed='yes'> <driver name='vfio'/> <source> <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/> </source> <mac address='52:54:00:6d:90:02'/> <virtualport type='802.1Qbh'> <parameters profileid='finance'/> </virtualport> </interface> </devices> |
metadata(元数据)
|
domain 的 metadata,用来表示 domain 的属性,从而区别于其它 domain:
<metadata> <nova:instance xmlns:nova="http://openstack.org/xmlns/libvirt/nova/1.0"> <nova:package version="20.0.2-0.20191230035951.27bfd0b.el8ost"/> <nova:name>ROBOT-TEST-IPV6-01-OAM-001</nova:name> <nova:creationTime>2020-07-11 17:55:37</nova:creationTime> <nova:flavor name="demo"> <nova:memory>32768</nova:memory> <nova:disk>40</nova:disk> <nova:swap>0</nova:swap> <nova:ephemeral>0</nova:ephemeral> <nova:vcpus>6</nova:vcpus> </nova:flavor> <nova:owner> <nova:user uuid="a511dc27164a476c9b28c4323d76b3a9">admin</nova:user> <nova:project uuid="8acc3ea78b924f77a30d0389303f6818">admin</nova:project> </nova:owner> <nova:root type="image" uuid="2d3a3798-208b-4a61-b2fa-171be08a7a3b"/> </nova:instance> </metadata> |
CPU
|
CPU 配置,cpu mode 有三种模式:host-model,custom 和 host-passthrough。
host-model:根据 node 上的 CPU 特性,在 domain 上选择一个最接近的标准 CPU 型号,如果不指定 cpu mode,默认就是 host-model。
custom: 表示基于某个基础 CPU 做个性化定制。
host-passthrough:直接将物理 CPU 特性暴露给虚拟机使用。
<cpu mode='host-model' check='partial'> <model fallback='allow'/> <topology sockets='3' cores='1' threads='2'/> # CPU topology,socker,core and threads <numa> <cell id='0' cpus='0-5' memory='33554432' unit='KiB' memAccess='shared'/> </numa> </cpu> |
cputune
|
cputune 标签可对 cpu 进行更多调节:
<cputune> <shares>6144</shares> <vcpupin vcpu='0' cpuset='11'/> <vcpupin vcpu='1' cpuset='39'/> <vcpupin vcpu='2' cpuset='41'/> <vcpupin vcpu='3' cpuset='13'/> <vcpupin vcpu='4' cpuset='34'/> <vcpupin vcpu='5' cpuset='6'/> <emulatorpin cpuset='6,11,13,34,39,41'/> # vcpu 和 物理 cpu 的映射 </cputune> |
os
|
os 标签定义操作系统架构,hvm 表示硬件辅助的虚拟机
<os> <type arch='x86_64' machine='pc-i440fx-rhel7.6.0'>hvm</type> <boot dev='hd'/> <smbios mode='sysinfo'/> </os> |
更多关于 libvirt XML 的配置可看这里。
virsh 创建 domain
virsh 是用于管理 domain 和 hypervisor 的命令行工具。
virsh 通过一系列命令实现对 domain 的管理和监控,宿主机和 hypersivor 的管理,网络/存储池和存储卷的管理等等。可通过 help 命令查看详细的解释。
通用的 virsh 命令主要有:
virsh list 查看本地 node 的 domain:
[root@compute-1 admin]# virsh list Id Name State ---------------------------------------------------- 1331 instance-00001c38 running
virsh dominfo 查看本地 node 的 domain 信息:
[root@compute-1 admin]# virsh dominfo 1331 Id: 1331 Name: instance-00001c38 UUID: 50df6317-642b-48f3-9a53-fbc3c440f56f OS Type: hvm State: running CPU(s): 6 CPU time: 73898.6s Max memory: 33554432 KiB Used memory: 33554432 KiB Persistent: yes Autostart: disable Managed save: no Security model: none Security DOI: 0
virsh vcpuinfo 查看本地 node 上 domain 的 vcpu 信息:
[root@compute-1 admin]# virsh vcpuinfo 1331 VCPU: 0 CPU: 11 State: running CPU time: 12235.4s CPU Affinity: -----------y-------------------------------------------- VCPU: 1 CPU: 39 State: running CPU time: 12081.0s CPU Affinity: ---------------------------------------y----------------
virsh edit <domainID> 查看并且编辑 domain 的 XML 信息:
[root@compute-1 admin]# virsh edit 1331
virsh define 根据 XML 文件定义一个 domain,但是不启动 domain:
[root@compute-1 admin]# virsh edit demo.xml
virsh create 根据 XML 文件创建一个 domain:
[root@compute-1 admin]# virsh create demo.xml
libvirt API
libvirt API 是一套 C 语言实现的管理虚拟机的,稳定高效的程序接口。virsh 就是通过 libvirt API 来实现 domain 的管理监控等操作的。
libvirt API 分为对本地的 API 调用和对远端 node 的 API 调用。管理工具通过本地 URI 和 远程 URI 实现这些调用。
本地 URI 的格式是:qemu:///session,连接本地 session 实例,该连接仅能管理当前用户的 domain 资源;qemu:///system,连接本地 system 实例,管理特权用户的 domain 资源。远程 URI 的格式是: qemu+ssh:///root@example.com/system 和 qemu+ssh:///user@example.com/session 等。
[admin@compute-1 ~]$ virsh -c qemu:///system list error: failed to connect to the hypervisor error: Failed to connect socket to '/var/run/libvirt/libvirt-sock': Permission denied [admin@compute-1 ~]$ virsh -c qemu:///session list Id Name State ---------------------------------------------------- [admin@compute-1 ~]$ sudo su [root@compute-1 admin]# virsh -c qemu:///system list Id Name State ---------------------------------------------------- 1331 instance-00001c38 running 1332 instance-00001c3a running [root@compute-1 admin]# virsh list # virsh list 默认 list 当前用户的 domain Id Name State ---------------------------------------------------- 1331 instance-00001c38 running 1332 instance-00001c3a running
libvirt API 提供了很多接口供管理工具调用。许多语言都提供了对 libvirt 的绑定,python 也实现了对 libvirt 的绑定,用户可通过导入 libvirt 包实现对 libvirt API 的调用(需要事先安装好 libvirt-python 软件包),安装好之后代码可在 /usr/lib64/python2.7/site-packages/libvirt* 找到:
[lianhua@controller-0 ~]$ ll /usr/lib64/python2.7/site-packages/libvirt libvirt_lxc.py libvirt_lxc.pyo libvirtmod_qemu.so libvirt.py libvirt.pyo libvirt_qemu.pyc libvirt_lxc.pyc libvirtmod_lxc.so libvirtmod.so libvirt.pyc libvirt_qemu.py libvirt_qemu.pyo
通过一个简单的 python 代码实现对 libvirt API 的调用:
#!/usr/bin/python # Get domain info via libvirt python API # Test env: python2.7 and libvirt-python-2.0.0 on KVM host import libvirt import sys def createConnection(): conn = libvirt.openReadOnly(None) if conn == None: print "Failed to open connection to QEMU/KVM" sys.exit(1) else: print "connection successfully" return conn def getDomInfoByName(conn, name): try: localDom = conn.lookupByName(name) except: print 'Failed to get the domain info with name "%s"' % name return 1 print "domain id: %d name: %s " % (localDom.ID(), localDom.name()) print "domain state: %s " % (localDom.state(0)) print "domain info: %s " % (localDom.info()) print "vCPUS: %d " % localDom.maxVcpus() def getDomInfoByID(conn, id): try: localDom = conn.lookupByID(id) except: print 'Failed to get the domain info with id "%d"' % id return 1 print "lookup domain id: %d, name: %s" % (localDom.ID(), localDom.name()) def closeConnection(conn): print "close connection session" try: conn.close() except: print "Failed to close the session" return 1 if __name__ == '__main__': name1 = "instance-00002d2e" name2 = "notExist" id1 = 321 id2 = 999 conn = createConnection() getDomInfoByName(conn, name1) getDomInfoByName(conn, name2) getDomInfoByID(conn, id1) getDomInfoByID(conn, id2) closeConnection(conn)
查看执行结果,检查是否调用到 libvirt API:
[root@compute-1 qemu-kvm]# virsh list Id Name State ---------------------------------------------------- 321 instance-00002d2e running [root@compute-1 qemu-kvm]# python libvirt-test.py connection successfully domain id: 321 name: instance-00002d2e domain state: [1, 5] domain info: [1, 33554432L, 33554432L, 3, 1546499830000000L] vCPUS: 3 libvirt: QEMU Driver error : Domain not found: no domain with matching name 'notExist' Failed to get the domain info with name "notExist" lookup domain id: 321, name: instance-00002d2e libvirt: QEMU Driver error : Domain not found: no domain with matching id 999 Failed to get the domain info with id "999" close connection session
芝兰生于空谷,不以无人而不芳。