ceph集群jewel版本 rbd 块map 报错-故障排查

测试信息如下:

[root@ceph_1 ~]# ceph osd pool ls
rbd
chy_123
swimmingpool

#新建rbd 块:

rbd create swimmingpool/bar  --size 10G --image-format 2 

 

#查看块信息:

rbd ls

 

#将rbd 块映射到主机:

rbd map  swimmingpool/bar  

#报错内容如下

rbd: sysfs write failed

RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".

In some cases useful info is found in syslog - try "dmesg | tail" or so.

rbd: map failed: (6) No such device or address

 

故障排查:

rbd 块ceph 支持两种格式:

rbd create  swimmingpool/bar --size 10G --image-format 2  

 

--image-format format-id

选择用哪个对象布局,默认为 1 。

format 1 - 新建 rbd 映像时使用最初的格式。此格式兼容所有版本的 librbd 和内核模块,但是不支持较新的功能,像克隆。

format 2 - 使用第二版 rbd 格式, librbd 和 3.11 版以上内核模块才支持(除非是分拆的模块)。此格式增加了克隆支持,使得扩展更容易,还允许以后增加新功能。

 

为使用rbd 块新特性,使用格式2,在map 时发生以上报错:

    查找官网相关资料,找到信息如下:

笔者安装的是jewel 版本,新建rbd块指定格式2,默认格式2的rbd 块支持如下特性,默认全部开启;

layering: 支持分层

striping: 支持条带化 v2

exclusive-lock: 支持独占锁

object-map: 支持对象映射(依赖 exclusive-lock )

fast-diff: 快速计算差异(依赖 object-map )

deep-flatten: 支持快照扁平化操作

journaling: 支持记录 IO 操作(依赖独占锁)

 

笔者使用系统为centos7.2 ,内核版本 3.10.0-327.18.2.el7.x86_64,根据报错内容提示可知,服务器系统内核版本,不支持有些格式2 的新特性导致。可以使用 

--image-feature   选项指定使用特性,不用全部开启。我们的需求仅需要使用快照等特性,开启layering即可,配置方式如下:

rbd create swimmingpool/bar --size 10G --image-format 2 --image-feature  layering

[root@ceph_1 ~]# rbd map swimmingpool/bar
/dev/rbd1

 [root@ceph_1 ~]# lsblk
NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda           8:0    0  100G  0 disk
├─sda1        8:1    0    1G  0 part /boot
└─sda2        8:2    0   99G  0 part
  ├─cl-root 253:0    0   50G  0 lvm  /
  ├─cl-swap 253:1    0  7.8G  0 lvm  [SWAP]
  └─cl-home 253:2    0 41.2G  0 lvm  /home
sdb           8:16   0  100G  0 disk
├─sdb1        8:17   0   95G  0 part /var/lib/ceph/osd/ceph-0
└─sdb2        8:18   0    5G  0 part
sr0          11:0    1  680M  0 rom 
rbd0        252:0    0    1G  0 disk
rbd1        252:16   0   10G  0 disk    ///可以看到可以映射成功10G

rbd map  swimmingpool/bar  #可以正常映射;

#经测试,内核版本 3.10,仅支持此特性(layering),其它特性需要使用更高版本内核,或者从新编译内核加载特性模块才行。

看看format 1 format 2的区别在哪

 format: 2
 features: layering, exclusive-lock, object-map, fast-diff, deep-flatten       /////格式2 支持的功能较多,但是低内核又不支持那么多,只能把其他的功能禁用掉使用

posted @ 2017-10-23 11:28  多看多学多记多实践  阅读(1282)  评论(0编辑  收藏  举报