Ceph块存储介绍
1. 块存储是什么
块存储简称RBD（RADOS Block Device），是一种有序的字节序块，也是在Ceph三大存储类型中最为常用的存储方式 ，Ceph的块存储是基于RADOS的，因此它也借助RADOS的快照、复制和一致性等特性提供了快照、克隆和备份等操作。Ceph的块设备是一种精简置备模式，可以拓展块存储的大小且存储的数据以条带化的方式存储到Ceph集群中的多个OSD中。
2. 访问块存储的方式
访问块存储的方式有两种，分别是KRBD的方式和librbd的方式。
2.1 KRBD方式
KRBD是Kernel RADOS Block Device的简称，它是通过Kernel模块中的RBD模块来实现访问后端存储的，在使用前需要先使用modprobe命令将内核中RBD模块进行加载，同时对内核版本也是有要求的，需要内核的版本不低于3.10，因为比这个版本低的内核还没将RBD模块集成到内核中，因此如果是CentOS6.x的一般需要先升下内核版本。
KRBD访问后端存储的方式一般适用于为物理主机提供的块设备，这种方式是基于内核模块驱动的，可以使用Linux自带的页缓存来提高性能。
以下是通过KRBD模块访问Ceph后端块设备的一些命令操作。
modprobe rbd # 加载RBD内核模块
modinfo rbd # 查看rbd模块信息
rbd create image_name --size 10240 # 创建一个10G大小的名为image_name的块设备
rbd list # 列出存储池中的所有块设备，没有指定存储池，默认使用rbd存储池，可以使用-p选项来指定存储池
rbd info image_name # 显示出image_name块设备的信息
rbd map image_name # 将image_name块设备映射到系统中
rbd showmapped # 查看系统中已经映射的块设备
rbd unmap /dev/xxx # 取消掉块设备的映射
2.2 librbd方式
librbd是一个访问rbd块存储的库，它是基于librados库进行的更高一层的封装，所以librbd是通过librados库来与块存储的数据进行交互的。
使用librbd访问块存储的方式适用于为虚拟机提供块设备的方式，可以使用RBD缓存来提高性能，比如在qemu+kvm虚拟框架中提供的虚拟机，qemu可以通过librbd来访问后端存储，以下是访问的模型图：
要通过qemu来将块设备提供给客户机，也就是我们说的虚拟机，需要指定存储池名和映像名
命令格式类似如下：
qemu-img {command} [options] rbd:{pool-name}/{image-name}[@snapshot-name][:option1=value1][:option2=value2...]
举例：
qemu-img {command} [options] rbd:glance-pool/maipo:id=glance:conf=/etc/ceph/ceph.conf
举例：
qemu -m 1024 -drive format=raw,file=rbd:data/squeeze:rbd_cache=true,cache=writeback
3. RBD的一些常用操作和命令
有关存储池的操作：
部署好Ceph集群后，默认都会生成一个名为rbd的存储池
ceph osd lspools # 来查看当前存储的存储池
ceph osd pool create {pool-name} {pg-num} {pgp-num} # 创建存储池
ceph df # 查看存储池统计信息
ceph osd pool set {pool-name} {key} {value} # 调整存储池的选项值
有关image创建和查看的操作：
rbd create pool/image1 --size 1024 --image-format 2 # 在pool存储池中创建1GB大小的image
rbd ls pool-name # 查看pool-name存储池中的image
rbd info pool-name/image1 # 查看image1的详细信息
rbd rm pool-name/image1 # 删除image1
有关快照的操作：
rbd snap create pool-name/image1@image1_snap # 创建image1的快照
rbd snap list pool-name/image1 # 列出image1的所有快照
rbd info pool-name/image1@image1_snap # 查看快照的详细信息
有关克隆的操作：
在克隆前，快照必须处于被保护的状态才能够被克隆。
rbd snap protect pool-name/image1@image1_snap # 将快照置于保护状态
rbd clone pool-name/image1@image1_snap pool-name/image2 # 将快照克隆成一个image2
image2是依赖于image1的快照的，可以称image2是image1_snap的children
rbd children pool-name/image1@image1_snap # 查看该快照的children
要是想要让image2不再依赖于image1_snap，则需要使用如下命令将分层的image2变为扁平的没有层级的image
rbd flatten pool-name/image2
有关备份和恢复的操作：
rbd export pool-name/image1 image1_export # 导出image1
rbd import image1_export pool-name/image3 --image-format 2 # 导入备份的文件保存为image3
4. qemu-kvm如何访问块存储
这里介绍的是通过LIBRBD的方式访问RBD块存储。
（1）检测操作系统的KVM虚拟化是否支持RBD块存储
使用命令：
qemu-img --help |grep rbd
如果输出的内容中出现了rbd关键词，则说明当前qemu-kvm或者qemu-system-x86_64支持RBD块存储。
（2）使用块存储
把/etc/ceph/ceph.conf文件拷贝到目的节点相同的路径位置，这样该节点的qemu-img工具就会使用该文件作为默认配置文件。
如果ceph集群开启了cephx认证，则需要创建客户端访问权限，在我的ceph配置为openstack的后端存储中有说明如何创建这个权限，还有生成秘钥并导入libvirt也有说明：配置Ceph集群为OpenStack后端存储
最后会生成一个xml格式的文件，里面定义了需要访问块存储的各种信息，由libvirt来将其转换为对应的命令行以使得qemu-kvm进程可以访问块存储，从而虚拟机可以访问块存储。
