(转) 通过UUID在vSphere虚拟机内外识别硬盘
转自:http://ju.outofmemory.cn/entry/28398
简单介绍下应用场景:开发基于虚拟化IaaS的一些应用就免不了要跟虚拟机(VM)打交道,因为VM逻辑上独立于宿主机(host),两者之间的交互就成了一个问题,本文介绍的就是在vSphere环境下VM和host之间如何准确识别硬盘,希望能对同样基于VMware vSphere平台做开发的朋友们一点帮助和启发。
如何标识硬盘
在物理机上我们把硬盘插在一条条数据线上,数据线被接到控制器总线上。IaaS这一层把对基础硬件这一层给池化,因此也提供了一系列对硬件操作的API,增加/删除设备等等。和在物理环境下一样,增加虚拟硬盘也需要指定对应的总线号和在总线上的位置,看起来这个总线号(类似X:Y,X是总线编号,Y是在总线上的unit号)可以成为内外部统一的标识符了。不过,不要too young too simple的以为真相会是那么简单哟。
在Linux中使用总线编号来查询磁盘主要有两种方法:
让我们来看看使用总线位置标识X:Y来识别硬盘的问题:在Linux里,总线编号X其实取决于kernel module加载的顺序。使用dmesg命令查看日志可以发现,对应的总线控制器驱动的行为是:每个驱动在初始化的时候会扫描总线,看看有哪个总线是匹配的,然后拿到一个bus id来标识这条总线,这个bus id也就是我们的总线编号X。如果IDE总线驱动第一个被加载,然后再加载SCSI总线驱动,那么IDE总线就会拿到bus id 0,而SCSI总线就只能从1开始了。而且在虚拟化环境里SCSI总线也有不同的类别(LSIlogic,PVSCI等),对应不同的kernel module,因此不同类型的SCSI总线之间也会产生总线编号不确定的问题。
那是不是可以通过控制kernel module的方法来人为干预SCSI总线号呢?楼主用实践证明了这是个不靠谱stupid idea,有如下几个原因:
- 每个发行版修改kernel module加载顺序的方法不尽相同,RHEL 5.x就比较容易,重新编译下initrd,使用mkinitrd的–with参数定义module加载顺序就可以了。而RHEL 6.x由于使用了initramfs用老方法就不顶用了,尝试了很久发现有一个hack的方法:修改grub.conf,使用内核参数rdloaddriver(强制加载)和rdblacklist(强制不加载)来控制启动顺序,当然这是很不推荐的做法。
- 对于某些奇葩的系统,比如RHEL 6.0/Oracle Linux 6.0,即使修改grub.conf也不顶用,启动的时候module加载顺序会突变,暂时还不清楚突变的根本原因,但可能是一个bug,毕竟在之后的系统中都没有这个问题。
那听上去是不是没有什么好办法了?要没有好办法楼主也不会废话那么多失败的例子了。目前看来靠谱的方法是使用UUID来在虚拟机内外唯一标识磁盘,用法也很简单。
- Disk UUID在vSphere上默认是关闭的,需要通过在VM上设置参数disk.enableUUID=TRUE打开,如下图所示,注意因为configuration parameters实际上是被写入vmx文件的,故无法在开机情况下修改。理论上应该也可以通过修改host上面的/etc/vmware/config来实现host level全局的修改,这样就无需一个一个VM单独进行设置了。
- 在目标机器上安装VMware Tools。
- 在VM外可以使用vSphere的MBO(Managed Object Browser)来查看磁盘的UUID,找到VM->config->hardware->device->#DEVICE_KEY#->backing,如下图所示。当然通过API也可以查询甚至修改磁盘的UUID。
- 启用disk UUID并且安装了VMware Tools之后,可以在VM里面根据UUID来查询了。
a) Linux可以在/dev/disk/by-id下找到一系列名字包含UUID的符号链接,target就是device node,类似/dev/sda,/dev/sdb之类的,可以使用readlink命令来得到符号链接的target。注意这里是by-id不是by-uuid,by-id这个目录只有在设置了disk.enableUUID之后才会出现。如下图所示,可以看到有by-id/by-path/by-uuid三个目录,by-path对应的就是上文介绍的使用SCSI总线地址来进行磁盘查找的方法。
b) Windows可以使用Powershell命令:Get-WmiObject Win32_PhysicalMedia | where {$_.serialNumber -eq ‘#UUID#’} 来查询对应的磁盘,查到是第几块磁盘之后就可以使用diskpart来进行磁盘初始化。如下图所示,PHYSICALDRIVE0就是指第0块硬盘。 - 注意做Linked Clone也不会改变磁盘的UUID,这个UUID是记录在root vmdk文件中的,登录到ESXi上去可以用vi打开vmdk描述文件查看到。
开机状态检测磁盘的增加/变更
虚拟化环境拥有很多物理环境中做不到或者是很难做到的功能,比如在开机状态下热增加磁盘,计算资源(参考VMware vSphere hot-add CPU/memory学习笔记)等,算是先天优势而不是屌丝逆袭。现在各种操作系统也针对虚拟化环境做了不少优化,比如在Windows中热增加的磁盘能直接被识别出来。而Linux下就需要执行下面命令来重新扫描某个SCSI总线上的磁盘设备:
# {scsi_host_id}是系统上识别出来的bus id
echo "- - -" > /sys/class/scsi_host/host{scsi_host_id}/scan
如果只是在外部修改磁盘大小,在Linux下也需要执行命令才能够使得guest系统正确识别新的size:
# {device_name}是逻辑设备号,比如sda,sdb。。。
echo 1 > /sys/block/{device_name}/device/rescan
# 然后你可以决定是否用resize2fs来调整文件系统大小
resize2fs /dev/{device_name}