通过iscsi协议使用ceph rbd
转自:http://blog.csdn.net/wytdahu/article/details/46545235
ceph很早就已经支持通过iscsi协议来使用rbd,这篇博文对此做下演示,并且使用OSD Server作为iscsi target端。
一、OSD Server side
1、安装支持rbd的TGT软件包
1 #echo "deb http://ceph.com/packages/ceph-extras/debian $(lsb_release -sc) main" | sudo tee /etc/apt/sources.list.d/ceph-extras.list 2 #apt-get install tgt
2、安装完成后确认tgt支持rbd
1 # tgtadm --lld iscsi --op show --mode system | grep rbd 2 rbd (bsoflags sync:direct)
3、创建一个image(示例中pool名称叫做iscsipool,image叫做iamge1)
1 #rbd create iscsipool/image1 --size 10240 --image-format 2
4、在tgt服务中注册刚才创建好的image,只需要将下面的内容添加到/etc/tgt/targets.conf 或者 etc/tgt/conf.d/ceph.conf中即可。
1 <target iqn.2014-04.rbdstore.example.com:iscsi> 2 driver iscsi 3 bs-type rbd 4 backing-store iscsipool/image1 # Format is <iscsi-pool>/<iscsi-rbd-image> 5 initiator-address 10.10.2.49 #client address allowed to map the address 6 </target>
5、重启或者重载tgt服务
1 #service tgt reload 2 or 3 #service tgt restart
6、关闭rbd cache,否则可能导致数据丢失或者损坏
1 vim /etc/ceph/ceph.conf 2 [client] 3 rbd_cache = false
二、Client side
1、安装open-scsi
1 #apt-get install open-iscsi -y
2、启动open-scsi服务
# service open-iscsi restart * Unmounting iscsi-backed filesystems [ OK ] * Disconnecting iSCSI targets [ OK ] * Stopping iSCSI initiator service [ OK ] * Starting iSCSI initiator service iscsid [ OK ] * Setting up iSCSI targets iscsiadm: No records found [ OK ] * Mounting network filesystems
3、发现目标设备
1 # iscsiadm -m discovery -t st -p 10.10.2.50 2 10.10.2.50:3260,1 iqn.2014-04.rbdstore.example.com:iscsi
4、挂载目标设备
1 # iscsiadm -m node --login 2 Logging in to [iface: default, target: iqn.2014-04.rbdstore.example.com:iscsi, portal: 10.10.2.50,3260] (multiple) 3 Login to [iface: default, target: iqn.2014-04.rbdstore.example.com:iscsi, portal: 10.10.2.50,3260] successful.
5、确认设备已经挂载(示例中sda就是iscsdi设备)
root@cetune1:~# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 10G 0 disk vda 253:0 0 24G 0 disk ?..vda1 253:1 0 190M 0 part /boot ?..vda2 253:2 0 1K 0 part ?..vda5 253:5 0 23.8G 0 part ?..linux-swap (dm-0) 252:0 0 3.8G 0 lvm [SWAP] ?..linux-root (dm-1) 252:1 0 20G 0 lvm /