OpenStack 虚拟机的磁盘文件类型与存储方式

目录

文章目录

• 目录
• 虚拟机的磁盘文件类型
• 虚拟机磁盘文件的存放方式
• QCOW2 镜像格式与 qemu-img 指令
• 参考文章

虚拟机的磁盘文件类型

Nova 虚拟机的虚拟磁盘主要包含有 Root Disk、Ephemeral Disk、Swap Disk、Block Storage 等几种类型。

Root Disk – virtual root disk size in glgabytes. This is an ephemeral disk the base image is copied into. You don’t use it when you boot from a persistent volume. The “0” size is a special case that uses the native base image size as the size of the ephemeral root volume.

Root Disk（根分区）系统盘，提供 Boot Loader。

Swap – Optional swap space allocation for the instance

Swap Disk（交换分区）交换盘。用于虚拟机内存耗尽时，协助承载内存压力。

Ephemeral – Specifies the size of a secondary ephemeral data disk. this is an empty unformatted disk and exists only for the life of the instance.

Ephemeral Disk 临时盘，非持久性存储空间，会随着虚拟机的生命周期被创建和回收。

Block Storage – Volume from Cinder

Block Storage（块存储）数据盘，由 Cinder 提供的持久性存储空间。

OpenStack 提供了 Nova Flavor 和 nova boot 指令两种操作入口来指定虚拟机的磁盘类型：

[stack@undercloud (overcloudrc) ~]$ openstack flavor create
usage: openstack flavor create [-h]
                               [-f {html,json,json,shell,table,value,yaml,yaml}]
                               [-c COLUMN] [--max-width <integer>]
                               [--noindent] [--prefix PREFIX] [--id <id>]
                               [--ram <size-mb>] [--disk <size-gb>]
                               [--ephemeral <size-gb>] [--swap <size-gb>]
                               [--vcpus <vcpus>] [--rxtx-factor <factor>]
                               [--public | --private] [--property <key=value>]
                               [--project <project>]
                               [--project-domain <project-domain>]
                               <flavor-name>

• [--disk <size-gb>]：系统盘
• [--ephemeral <size-gb>]：临时盘
• [--swap <size-gb>]：交换盘

[stack@undercloud (overcloudrc) ~]$ nova boot
usage: nova boot [--flavor <flavor>] [--image <image>]
                 [--image-with <key=value>] [--boot-volume <volume_id>]
                 [--snapshot <snapshot_id>] [--min-count <number>]
                 [--max-count <number>] [--meta <key=value>]
                 [--file <dst-path=src-path>] [--key-name <key-name>]
                 [--user-data <user-data>]
                 [--availability-zone <availability-zone>]
                 [--security-groups <security-groups>]
                 [--block-device-mapping <dev-name=mapping>]
                 [--block-device key1=value1[,key2=value2...]]
                 [--swap <swap_size>]
                 [--ephemeral size=<size>[,format=<format>]]
                 [--hint <key=value>]
                 [--nic <auto,none,net-id=net-uuid,net-name=network-name,port-id=port-uuid,v4-fixed-ip=ip-addr,v6-fixed-ip=ip-addr,tag=tag>]
                 [--config-drive <value>] [--poll] [--admin-pass <value>]
                 [--access-ip-v4 <value>] [--access-ip-v6 <value>]
                 [--description <description>]
                 <name>

• [--image <image>]：Boot from image 的镜像文件
• [--boot-volume <volume_id>]：Boot from volume 的块设备
• [--snapshot <snapshot_id>]：Boot from snapshot（Snapshot 可以来自 Image，也可能来自 Volume）
• [--ephemeral size=<size>[,format=<format>]]：临时盘
• [--swap <swap_size>]：交换盘
• [--block-device key1=value1[,key2=value2...]]：块设备隐射（可指定多种来源类型），key-value 选项如下
  • source=image|snapshot|volume|blank
  • id={uuid} (a volume|image|snapshot UUID if using source=volume|snapshot|image)
  • *dest=volume|local
  • *format=swap|ext4|…|none (to format the image/volume/ephemeral file; defaults to ‘none’ if omitted)
  • *bus=ide|usb|virtio|scsi (hypervisor driver chooses a suitable default if omitted)
  • *device=the desired device name (e.g. /dev/vda, /dev/xda, …)
  • *type=disk|cdrom|floppy|mmc (defaults to ‘disk’ if omitted)
  • *bootindex=N (where N is any number >= 0, controls the order in which disks are looked at for booting)
  • (size=NN (where NN is number of GB to create type=emphemeral image, or the size to re-size to for type=glance|cinder)
  • *shutdown=preserve|remove
  • NOTE：* 表示可选项
    
• [--block-device-mapping <dev-name=mapping>]：块设备隐射（只指定 Volume 类型），mapping 的格式为 <dev-name>=<id>:<type>:<size(GB)>:<delete-on-terminate>
  • id：UUID of Volume|Snapshot
  • *dev-name：Volume 在虚拟机中的设备名，e.g. /dev/sda
  • *type：snapshot|blank，snapshot 则表示 Volume 是从 Snapshot 上
  • *size (GB)： Volume Size
  • *delete-on-terminate(Boolean)：标识是否随虚拟机一起被删除

NOTE：在实际使用中，建议通过 Flavor 的方式来使用 Ephemeral 和 Swap 磁盘，因为 nova boot 指定的 ephemeral size 和 swap size 不能大于 Flavor 设定的值，很容易造成冲突。

通过对以上虚拟机磁盘类型的了解，在生产环境中使用 Boot from Volume 的虚拟机启动方式会是一种不错的选择。以 Volume 作为 Root Disk 的话，Volume 不会随着虚拟机删除而销毁。Boot from Volume 有着更高的数据安全性，是大多数 OpenStack 企业级产品提供的默认选项。

虚拟机磁盘文件的存放方式

Openstack 虚拟机磁盘文件的存放方式大致上可以概括为 Local（本地）和 backend（后端存储）两种形式。

• Local，顾名思义，虚拟机的磁盘文件存放在计算节点本地，由 nova.conf 配置项 instances_path 指定目录路径。e.g.

instances_path = /var/lib/nova/instances

• backend，即 Nova 启用了后端存储，或者说 Nova 底层的 Hypervisor 启用了后端存储更为准确。e.g.

[libvirt]
# VM Images format.
# Allowed values: raw, flat, qcow2, lvm, rbd, ploop, default
images_type = rbd

# The RADOS pool in which rbd volumes are stored (string value)
images_rbd_pool = rbd

# Path to the ceph configuration file to use (string value)
images_rbd_ceph_conf = /etc/ceph/ceph.conf

这里以 Ceph RBD 为例，当 Libvirt 对接了 Ceph RBD Backend，那么虚拟机的磁盘文件不再存放到计算节点本地，Ceph 通过精简配置的快照复制（snapshotted-cloned）卷（又称快照链接）来帮助 Libvirt 快速启动虚拟机，虚拟机的数据变更通过 rbd 协议写入 Ceph 块存储。此时的 instances_path 目录作为 console.log、disk.info、Ephemeral file、Swap file 的存放路径。可见 Ephemeral file、Swap file 总是 Local 的，会随着虚拟机的删除而完全销毁，除非特殊需求，否则不建议使用。

[root@localhost ~]# ll /opt/stack/data/nova/instances/9b17609e-13b8-448d-a225-e69b797e83c4/
total 416
-rw-------. 1 root  root      18067 Mar 21 12:08 console.log
-rw-r--r--. 1 qemu  qemu     196624 Mar 21 12:07 disk.eph0
-rw-r--r--. 1 stack libvirtd    181 Mar 21 12:07 disk.info
-rw-r--r--. 1 qemu  qemu     196616 Mar 21 12:07 disk.swap

当然还有一种场景，Nova 使用 NFS 后端存储来存放虚拟机磁盘文件。与 Ceph RBD 不同，NFS 以文件存储的方式 mount 到计算节点本地的（注：CephFS 也支持文件存储，这里以 NFS 为例）。e.g.

mount {nfs_server_ipaddr}:/instances /var/lib/nova/instances
chown -R nova:nova /var/lib/nova/instances
chmod 755 /var/lib/nova/instances

此时，虽然虚拟机磁盘文件存放到了后端存储，但对于 Libvirt 而言这些文件依旧是存放在本地文件系统上的，不需要通过特殊的协议访问，只是单纯的本地文件访问，所以我将这种存放形式归纳到 Local 行列。

QCOW2 镜像格式与 qemu-img 指令

QCOW2 是 QEMU-KVM 常用的 Image 格式，也是常见的虚拟机 disk_format。当采用 Local 磁盘文件存放方式时，Nova 通过 qemu-img 指令对此格式的磁盘文件进行管理。关于 qemu-img 指令的详细使用方式在 《QCOW2/RAW/qemu-img 概念浅析》中已经有过记录，这里不再赘述。

QCOW2 – QEMU copy-on-write format with a range of special features, including the ability to take multiple snapshots, smaller images on filesystems that don’t support sparse files, optional AES encryption, and optional zlib compression.

QCOW2 的特性：

• COW
• 支持多重快照，又称链式快照
• 占用更小的存储空间
• AES 加密
• zlib 压缩

其中我们关心 QCOW2 的 COW 特性，COW（Copy-On-Write，写时复制，或称即写即拷）是一种快照技术，更多的 COW 实现原理可以浏览《再谈 COW、ROW 快照技术》。简而言之，当使用 QCOW2 Image 创建虚拟机并且虚拟机的磁盘文件存放方式是 Local 的话，那么虚拟机 Root file 本质只是一个 QCOW2 Image 的快照链接，而非从 Glance download 到本地的 QCOW2 Image。与 Ceph RBD 类似的，这个快照链接同样用于记录 GuestOS 对磁盘的读写变更，Root file 会随着虚拟机的使用而膨胀，直到 Root file size 达到 Flavor Disk_GB 的上限为止。

EXAMPLE：

[root@overcloud-ovscompute-0 instances]# qemu-img info 84603dbf-cf56-4c7d-b8a9-3ca83970682d/disk
image: 84603dbf-cf56-4c7d-b8a9-3ca83970682d/disk
file format: qcow2
virtual size: 10G (10737418240 bytes)
disk size: 30M
cluster_size: 65536
backing file: /var/lib/nova/instances/_base/309eee24778f158af7ae57d8843e698d48f43d4a
Format specific information:
    compat: 1.1
    lazy refcounts: false
    refcount bits: 16
    corrupt: false
    
[root@overcloud-ovscompute-0 instances]# qemu-img info 744a1c9f-705d-4294-89cf-dadbb1b6ca8c/disk
image: 744a1c9f-705d-4294-89cf-dadbb1b6ca8c/disk
file format: qcow2
virtual size: 10G (10737418240 bytes)
disk size: 30M
cluster_size: 65536
backing file: /var/lib/nova/instances/_base/309eee24778f158af7ae57d8843e698d48f43d4a
Format specific information:
    compat: 1.1
    lazy refcounts: false
    refcount bits: 16
    corrupt: false
    
[root@overcloud-ovscompute-0 instances]# qemu-img info /var/lib/nova/instances/_base/309eee24778f158af7ae57d8843e698d48f43d4a
image: /var/lib/nova/instances/_base/309eee24778f158af7ae57d8843e698d48f43d4a
file format: raw
virtual size: 8.0G (8589934592 bytes)
disk size: 881M

上述输出，两个虚拟机的根磁盘文件有着共同的 backing file /var/lib/nova/instances/_base/309eee24778f158af7ae57d8843e698d48f43d4a，这个文件才是从 Glance 拉到本地的 QCOW2 Image。所以，我更愿意将虚拟机磁盘文件称为 disk file，将 QCOW2 Image 称为 base file，两者的结合才是虚拟机在当前时刻的完整数据。这种利用了 QCOW2 特性的虚拟机磁盘文件处理方式的好处在于占用了更小的磁盘空间，但在虚拟机迁移场景中要引起注意，如果只是迁移 disk file 的话，将无法得到虚拟机的完整数据。

Initially the image is downloaded from glance and cached in libvirt base. We’ll consider the options for handling a qcow2 image stored in glance, as that format can be downloaded quite efficiently from glance as it supports compression, and image sparseness can be maintained. This article will focus on the flow and transformations in “libvirt base”, which is used to cache, preprocess and optionally back, VM disk images.

NOTE：Ephemeral file 和 Swap file 也一样，不做过多讨论。

随带一提，如果 Nova、Cinder、Glance 都使用了 Ceph RBD 后端存储。那么 Image 是以 RAW（裸数据）格式存储的，依赖 Ceph 块存储的 COW 特性来达到与 QCOW2 类似，甚至更完备的效果。

参考文章

https://www.cnblogs.com/sammyliu/p/4462718.html