ceph块存储场景
1、创建rbd使用的存储池。
admin节点需要安装ceph才能使用该命令，如果没有，也可以切换到ceph-node1节点去操作。
[cephfsd@ceph-admin ceph]$ ceph osd pool create rbd_data 64 64
pool 'rbd_data' created
[cephfsd@ceph-admin ceph]$ rbd pool init rbd_data
[cephfsd@ceph-admin ceph]$ ceph -s
cluster:
id: 6d3fd8ed-d630-48f7-aa8d-ed79da7a69eb
health: HEALTH_OK
services:
mon: 1 daemons, quorum ceph-admin
mgr: ceph-admin(active)
mds: cephfs-1/1/1 up {0=ceph-node3=up:active}, 2 up:standby
osd: 3 osds: 3 up, 3 in
data:
pools: 3 pools, 192 pgs
objects: 21 objects, 7.77KiB
usage: 3.00GiB used, 27.0GiB / 30.0GiB avail
pgs: 192 active+clean
[cephfsd@ceph-admin ceph]$注：
# 不能使用之前已经注册的pool。 [cephfsd@ceph-admin opt]$ sudo rbd pool init cephfs_data rbd: pool already registered to a different application. [cephfsd@ceph-admin opt]$
2、创建rbd
可以看到，rbd池的pg创建完成了，默认情况下，使用的pool是3副本配置，测试创建一块rbd试下
[cephfsd@ceph-admin ceph]$ rbd create testrbd --size=10G
rbd: error opening default pool 'rbd'
Ensure that the default pool has been created or specify an alternate pool name.
[cephfsd@ceph-admin ceph]
# 加上-p参数，指定pool的名字
[cephfsd@ceph-admin ceph]$ rbd create testrbd --size=10G -p rbd_data
或者
[cephfsd@ceph-admin ceph]$ rbd create rbd_data/testrbd --size=10G
[cephfsd@ceph-admin ceph]$ rbd info rbd_data/testrbd
rbd image 'testrbd':
size 10GiB in 2560 objects
order 22 (4MiB objects)
block_name_prefix: rbd_data.373e6b8b4567
format: 2
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
flags:
create_timestamp: Fri Dec 6 16:06:55 2019
[cephfsd@ceph-admin ceph]$3、映射rbd块设备到服务器。
# 在Ceph client端将该rbd镜像映射为本地设备时出错。
[cephfsd@ceph-admin ceph]$ sudo rbd map rbd_data/testrbd
rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable rbd_data/testrbd object-map fast-diff deep-flatten".
In some cases useful info is found in syslog - try "dmesg | tail".
rbd: map failed: (6) No such device or address
# 查看系统打印的信息
[cephfsd@ceph-admin ceph]$ dmesg | tail
[147187.581929] fuse init (API version 7.23)
[154167.356761] libceph: mon0 172.16.143.121:6789 session established
[154167.356931] libceph: client14124 fsid 6d3fd8ed-d630-48f7-aa8d-ed79da7a69eb
[171895.244253] rbd: loaded (major 252)
[174742.162661] libceph: mon0 172.16.143.121:6789 session established
[174742.162851] libceph: client14145 fsid 6d3fd8ed-d630-48f7-aa8d-ed79da7a69eb
[174742.166056] rbd: image testrbd: image uses unsupported features: 0x38
[175730.260351] libceph: mon0 172.16.143.121:6789 session established
[175730.260439] libceph: client14148 fsid 6d3fd8ed-d630-48f7-aa8d-ed79da7a69eb
[175730.263530] rbd: image testrbd: image uses unsupported features: 0x38
[cephfsd@ceph-admin ceph]$
# 查看系统内核版本
[cephfsd@ceph-admin ceph]$ uname -a
Linux ceph-admin 3.10.0-1062.el7.x86_64 #1 SMP Wed Aug 7 18:08:02 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
[cephfsd@ceph-admin ceph]$ ceph --version
ceph version 12.2.12 (1436006594665279fe734b4c15d7e08c13ebd777) luminous (stable)
# 再查看testrbd映像的特性
[cephfsd@ceph-admin ceph]$ rbd info rbd_data/testrbd
rbd image 'testrbd':
size 10GiB in 2560 objects
order 22 (4MiB objects)
block_name_prefix: rbd_data.373e6b8b4567
format: 2
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
flags:
create_timestamp: Fri Dec 6 16:06:55 2019
[cephfsd@ceph-admin ceph]$可以看到testrbd拥有特性：layering, exclusive-lock, object-map, fast-diff, deep-flatten
这些特性分别表示：
- layering: 支持分层
- striping: 支持条带化 v2
- exclusive-lock: 支持独占锁
- object-map: 支持对象映射（依赖 exclusive-lock ）
- fast-diff: 快速计算差异（依赖 object-map ）
- deep-flatten: 支持快照扁平化操作
- journaling: 支持记录 IO 操作（依赖独占锁）
不过遗憾的是CentOS的3.10内核仅支持其中的layering feature，其他feature概不支持。我们需要手动disable这些features：
方法一：直接disable
# 禁止其他features
[cephfsd@ceph-admin ceph]$ rbd feature disable rbd_data/testrbd exclusive-lock, object-map, fast-diff, deep-flatten
[cephfsd@ceph-admin ceph]$ rbd info rbd_data/testrbd
rbd image 'testrbd':
size 10GiB in 2560 objects
order 22 (4MiB objects)
block_name_prefix: rbd_data.373e6b8b4567
format: 2
features: layering
flags:
create_timestamp: Fri Dec 6 16:06:55 2019
[cephfsd@ceph-admin ceph]$ 禁用特性后，再次映射成功。
[cephfsd@ceph-admin ceph]$ sudo rbd map rbd_data/testrbd /dev/rbd0 [cephfsd@ceph-admin ceph]$ ll /dev/rbd0 brw-rw----. 1 root disk 252, 0 Dec 6 17:09 /dev/rbd0
方法二：修改配置ceph.conf
# 不过每次这么来disable可是十分麻烦的，一劳永逸的方法是在各个cluster node的/etc/ceph/ceph.conf中加上这样一行配置：
rbd_default_features = 1 #仅是layering对应的bit码所对应的整数
# 设置完后，通过下面命令查看配置变化
[cephfsd@ceph-admin ceph]$ ceph --show-config|grep rbd|grep features rbd_default_features =
方法三：修改format版本
经过查看ceph文档rbd 块镜像有支持两种格式：
--image-format format-id
format-id取值为1或2，默认为 2。
format 1 - 新建 rbd 映像时使用最初的格式。此格式兼容所有版本的 librbd 和内核模块，但是不支持较新的功能，像克隆。
format 2 - 使用第二版 rbd 格式， librbd 和 3.11 版以上内核模块才支持（除非是分拆的模块）。此格式增加了克隆支持，使得扩展更容易，还允许以后增加新功能。
这里把format指定为1之后，重新映射就好了。
# 注意：需要重新建立镜像。 [cephfsd@ceph-admin ceph]$ rbd create rbd_data/testrbd2 --size=1G --image-format 1 # 查看已经建立的rbd [cephfsd@ceph-admin ceph]$ rbd ls -p rbd_data testrbd2 testrbd # 映射该rbd [cephfsd@ceph-admin ceph]$ sudo rbd map rbd_data/testrbd2 /dev/rbd1 [cephfsd@ceph-admin ceph]$ ll /dev/rbd1 brw-rw----. 1 root disk 252, 16 Dec 6 17:32 /dev/rbd1
方法四：指定开启哪个features
# 创建rbd镜像时就指明需要的特性 [cephfsd@ceph-admin ceph]$ rbd create rbd_data/testrbd3 --size=1G --image-feature layering [cephfsd@ceph-admin ceph]$ rbd ls -p rbd_data testrbd2 testrbd testrbd3 [cephfsd@ceph-admin ceph]$ rbd map rbd_data/testrbd3 rbd: sysfs write failed In some cases useful info is found in syslog - try "dmesg | tail". rbd: map failed: (13) Permission denied [cephfsd@ceph-admin ceph]$ sudo rbd map rbd_data/testrbd3 /dev/rbd2 [cephfsd@ceph-admin ceph]$ ll /dev/rbd rbd/ rbd0 rbd1 rbd2 [cephfsd@ceph-admin ceph]$ ll /dev/rbd2 brw-rw----. 1 root disk 252, 32 Dec 6 17:38 /dev/rbd2 [cephfsd@ceph-admin ceph]$ # ok,映射成功，故障解决！
禁用特性后，再次映射成功。
# 查看块映射map情况 [cephfsd@ceph-admin rbd]$ rbd showmapped id pool image snap device 0 rbd_data testrbd - /dev/rbd0 1 rbd_data testrbd2 - /dev/rbd1 2 rbd_data testrbd3 - /dev/rbd2
4、格式化并挂载该rbd块
map后，我们就可以像格式化一个空image那样对其进行格式化了，这里格成ext4文件系统（格式化这一步大可不必，在后续小节中你会看到）：
# 格式化该rbd设备
[cephfsd@ceph-admin ceph]$ sudo mkfs.xfs /dev/rbd0
meta-data=/dev/rbd0 isize=512 agcount=16, agsize=163840 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=2621440, imaxpct=25
= sunit=1024 swidth=1024 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=8 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
# 创建挂载目录
[cephfsd@ceph-admin ceph]$ sudo mkdir /mnt/rbd
# 开始挂载
[cephfsd@ceph-admin ceph]$ sudo mount /dev/rbd0 /mnt/rbd/
[cephfsd@ceph-admin ceph]$ df -Th
Filesystem Type Size Used Avail Use% Mounted on
devtmpfs devtmpfs 484M 0 484M 0% /dev
tmpfs tmpfs 496M 0 496M 0% /dev/shm
tmpfs tmpfs 496M 39M 458M 8% /run
tmpfs tmpfs 496M 0 496M 0% /sys/fs/cgroup
/dev/mapper/centos-root xfs 46G 1.9G 44G 5% /
/dev/sda1 xfs 497M 130M 368M 26% /boot
tmpfs tmpfs 100M 0 100M 0% /run/user/0
172.16.143.121:6789:/ ceph 8.5G 0 8.5G 0% /opt
/dev/rbd0 xfs 10G 33M 10G 1% /mnt/rbd
[cephfsd@ceph-admin ceph]$
# 挂载成功，写点东西进去
[cephfsd@ceph-admin rbd]$ sudo touch rbd_test
[cephfsd@ceph-admin rbd]$ ll
total 0
-rw-r--r--. 1 root root 0 Dec 6 18:38 rbd_test
[cephfsd@ceph-admin rbd]$ sudo vim rbd_test
[cephfsd@ceph-admin rbd]$ ll
total 4
-rw-r--r--. 1 root root 12 Dec 6 18:38 rbd_test
[cephfsd@ceph-admin rbd]$ cat rbd_test
adsga
rbd 0
[cephfsd@ceph-admin rbd]$rbd其他命令
映射块设备
# 用 rbd 把映像名映射为内核模块。必须指定映像名、存储池名、和用户名。若 RBD 内核模块尚未加载， rbd 命令会自动加载。
sudo rbd map {pool-name}/{image-name} --id {user-name}
# 例如：
sudo rbd map rbd/myimage --id admin
# 如果你启用了 cephx 认证，还必须提供密钥，可以用密钥环或密钥文件指定密钥。
sudo rbd map rbd/myimage --id admin --keyring /path/to/keyring
sudo rbd map rbd/myimage --id admin --keyfile /path/to/fil查看已经映射的块设备
rbd showmappe
取消块设备映射
sudo rbd unmap /dev/rbd/{poolname}/{imagename}查看块设备映像
# 要列出 rbd 存储池中的块设备，可以用下列命令（即 rbd 是默认存储池名字）：
rbd ls
# 用下列命令罗列某个特定存储池中的块设备，用存储池的名字替换 {poolname} ：
rbd ls {poolname}
例如：
rbd ls swimmingpool查看映像信息
# 用下列命令检索某个特定映像的信息，用映像名字替换 {image-name} ：
rbd info {image-name}
# 例如：
rbd info foo
# 用下列命令检索某存储池内的映像的信息，用映像名字替换 {image-name} 、用存储池名字替换 {pool-name} ：
rbd info {pool-name}/{image-name}
# 例如：
rbd info swimmingpool/bar调整块设备映像大小
sudo rbd resize --size 512 test/foo --allow-shrink #调小 sudo rbd resize --size 4096 test/foo #调大
删除块设备
sudo rbd rm test/foo
5、创建快照
[cephfsd@ceph-admin rbd]$ rbd snap create --snap mysnap rbd_data/testrbd
[cephfsd@ceph-admin rbd]$ rbd snap ls rbd_data/testrbd
SNAPID NAME SIZE TIMESTAMP
4 mysnap 10GiB Fri Dec 6 19:14:07 2019
[cephfsd@ceph-admin rbd]$如上，创建了一个rbd_data/testrbd的快照，快照名叫mysnap。
6、回滚
# 回滚前先看一下现在是什么样子。
[cephfsd@ceph-admin rbd]$ ll
total 4
-rw-r--r--. 1 root root 0 Dec 6 19:17 abc
-rw-r--r--. 1 root root 12 Dec 6 18:38 rbd_test
# rbd_test是建快照之前就有的，把所有文件删除
[cephfsd@ceph-admin rbd]$ sudo rm -rf *
[cephfsd@ceph-admin rbd]$ ll
total 0
[cephfsd@ceph-admin rbd]$ df -TH
Filesystem Type Size Used Avail Use% Mounted on
devtmpfs devtmpfs 508M 0 508M 0% /dev
tmpfs tmpfs 520M 0 520M 0% /dev/shm
tmpfs tmpfs 520M 40M 480M 8% /run
tmpfs tmpfs 520M 0 520M 0% /sys/fs/cgroup
/dev/mapper/centos-root xfs 49G 2.0G 47G 5% /
/dev/sda1 xfs 521M 136M 386M 26% /boot
tmpfs tmpfs 104M 0 104M 0% /run/user/0
172.16.143.121:6789:/ ceph 9.2G 0 9.2G 0% /opt
/dev/rbd0 xfs 11G 35M 11G 1% /mnt/rbd
# 卸载块
[cephfsd@ceph-admin rbd]$ sudo umount /dev/rbd0
umount: /mnt/rbd: target is busy.
(In some cases useful info about processes that use
the device is found by lsof(8) or fuser(1))
[cephfsd@ceph-admin rbd]$ pwd
/mnt/rbd
# 因为当前进入了这个块设备目录，所以无法卸载，先离开当前目录。
[cephfsd@ceph-admin rbd]$ cd
# 卸载成功
[cephfsd@ceph-admin ~]$ sudo umount /dev/rbd0
[cephfsd@ceph-admin ~]$ df -Th
Filesystem Type Size Used Avail Use% Mounted on
devtmpfs devtmpfs 484M 0 484M 0% /dev
tmpfs tmpfs 496M 0 496M 0% /dev/shm
tmpfs tmpfs 496M 39M 458M 8% /run
tmpfs tmpfs 496M 0 496M 0% /sys/fs/cgroup
/dev/mapper/centos-root xfs 46G 1.9G 44G 5% /
/dev/sda1 xfs 497M 130M 368M 26% /boot
tmpfs tmpfs 100M 0 100M 0% /run/user/0
172.16.143.121:6789:/ ceph 8.5G 0 8.5G 0% /opt
[cephfsd@ceph-admin ~]$ ll /mnt/rbd/
total 0
# 开始回滚
[cephfsd@ceph-admin ~]$ rbd snap rollback rbd_data/testrbd@mysnap
Rolling back to snapshot: 100% complete...done.
# 重新挂载
[cephfsd@ceph-admin ~]$ sudo mount /dev/rbd0 /mnt/rbd/
# 检查该文件是否和建立快照时一模一样
[cephfsd@ceph-admin ~]$ ll /mnt/rbd/
total 4
-rw-r--r--. 1 root root 12 Dec 6 18:38 rbd_test
[cephfsd@ceph-admin ~]$ cat /mnt/rbd/rbd_test
adsga
rbd 0
[cephfsd@ceph-admin ~]$7、克隆
查看该块设备支不支持克隆，image-format必须为2
[cephfsd@ceph-admin ~]$ rbd info rbd_data/testrbd
rbd image 'testrbd':
size 10GiB in 2560 objects
order 22 (4MiB objects)
block_name_prefix: rbd_data.373e6b8b4567
format: 2
features: layering
flags:
create_timestamp: Fri Dec 6 16:06:55 2019
# 如果不是，则需要在创建快照的时候就指定--image-format为2
rbd create rbd_data/testrbd4 --size 1G --image-format 2把该块做成模板，需要先把该模板的快照设置成protect（重要）
# 设置快照为protect
[cephfsd@ceph-admin ~]$ rbd snap protect rbd_data/testrbd@mysnap
# 可以通过unprotect取消保护，但是这样就不能克隆了
[cephfsd@ceph-admin ~]$ rbd snap unprotect rbd_data/testrbd@mysnap
[cephfsd@ceph-admin ~]$ rbd info rbd_data/testrbd
rbd image 'testrbd':
size 10GiB in 2560 objects
order 22 (4MiB objects)
block_name_prefix: rbd_data.373e6b8b4567
format: 2
features: layering
flags:
create_timestamp: Fri Dec 6 16:06:55 2019
# 这里我们把它设置回来，设为protect
[cephfsd@ceph-admin ~]$ rbd snap protect rbd_data/testrbd@mysnap卸载该块
[cephfsd@ceph-admin ~]$ sudo umount /dev/rbd0 [cephfsd@ceph-admin ~]$ df -Th Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 484M 0 484M 0% /dev tmpfs tmpfs 496M 0 496M 0% /dev/shm tmpfs tmpfs 496M 45M 452M 9% /run tmpfs tmpfs 496M 0 496M 0% /sys/fs/cgroup /dev/mapper/centos-root xfs 46G 1.9G 44G 5% / /dev/sda1 xfs 497M 130M 368M 26% /boot tmpfs tmpfs 100M 0 100M 0% /run/user/0 172.16.143.121:6789:/ ceph 8.5G 0 8.5G 0% /opt [cephfsd@ceph-admin ~]$
开始克隆
[cephfsd@ceph-admin ~]$ rbd clone rbd_data/testrbd@mysnap rbd_data/testrbd_clone [cephfsd@ceph-admin ~]$ rbd -p rbd_data ls testrbd2 testrbd testrbd3 testrbd_clone [cephfsd@ceph-admin ~] # 可以看到多出了一个克隆出来的块testrbd_clone
查看区别
检查克隆出来的testrbd_clone和之前的testrbd有没有什么区别：
# 映射testrbd_clone
[cephfsd@ceph-admin ~]$ sudo rbd map rbd_data/testrbd_clone
/dev/rbd3
# 创建挂载目录
[cephfsd@ceph-admin ~]$ sudo mkdir /mnt/rbd_clone
# 挂载克隆的块
[cephfsd@ceph-admin ~]$ sudo mount /dev/rbd3 /mnt/rbd_clone/
# 查看克隆的块的详情
[cephfsd@ceph-admin ~]$ ll /mnt/rbd_clone/
total 4
-rw-r--r--. 1 root root 12 Dec 6 18:38 rbd_test
[cephfsd@ceph-admin ~]$ cat /mnt/rbd_clone/rbd_test
adsga
rbd 0
[cephfsd@ceph-admin ~]$
# 发现testrbd_clone和testrbd快照的内容是一模一样的，因为是从那个快照克隆过来的
# 查看 testrbd_clone信息
[cephfsd@ceph-admin ~]$ rbd info rbd_data/testrbd_clone
rbd image 'testrbd_clone':
size 10GiB in 2560 objects
order 22 (4MiB objects)
block_name_prefix: rbd_data.375f6b8b4567
format: 2
features: layering
flags:
create_timestamp: Fri Dec 6 19:56:21 2019
parent: rbd_data/testrbd@mysnap
overlap: 10GiB
[cephfsd@ceph-admin ~]$flatten合并
父镜像与克隆镜像合并
这个时候的testrbd_clone还是依赖testrbd的镜像mysnap的，如果testrbd的mysnap被删除或者怎么样，testrbd_clone也不能够使用了，要想独立出去，就必须将父镜像的信息合并flattern到子镜像中
# 合并前
[cephfsd@ceph-admin ~]$ rbd info rbd_data/testrbd_clone
rbd image 'testrbd_clone':
size 10GiB in 2560 objects
order 22 (4MiB objects)
block_name_prefix: rbd_data.375f6b8b4567
format: 2
features: layering
flags:
create_timestamp: Fri Dec 6 19:56:21 2019
parent: rbd_data/testrbd@mysnap
overlap: 10GiB
[cephfsd@ceph-admin ~]$
# 开始flatten合并
[cephfsd@ceph-admin ~]$ rbd flatten rbd_data/testrbd_clone
Image flatten: 100% complete...done.
# 合并后，查看testrbd_clone发现已经没有parent信息了，因为已经独立了
[cephfsd@ceph-admin ~]$ rbd info rbd_data/testrbd_clone
rbd image 'testrbd_clone':
size 10GiB in 2560 objects
order 22 (4MiB objects)
block_name_prefix: rbd_data.375f6b8b4567
format: 2
features: layering
flags:
create_timestamp: Fri Dec 6 19:56:21 2019
[cephfsd@ceph-admin ~]$
# 此时就可以删除快照模板了
[cephfsd@ceph-admin ~]$ rbd snap unprotect rbd_data/testrbd@mysnap
[cephfsd@ceph-admin ~]$ rbd snap rm rbd_data/testrbd@mysnap
[cephfsd@ceph-admin ~]$ rbd snap ls rbd_data/testrbd
# 镜像模板已删除8、k8s使用rbd作后端存储
参考下一篇文档：https://www.cnblogs.com/doublexi/p/15618609.html
引用：
参考：http://www.strugglesquirrel.com/2019/04/23/centos7%E9%83%A8%E7%BD%B2ceph/
