ceph块存储应用案例
块存储应用案例
演示块存储在KVM虚拟化中的应用案例，实现：
Ceph创建块存储镜像
客户端安装部署ceph软件
客户端部署虚拟机
客户端创建secret
设置虚拟机配置文件，调用ceph存储
方案
使用Ceph存储创建镜像。
KVM虚拟机调用Ceph镜像作为虚拟机的磁盘。
步骤
1）创建磁盘镜像。
[root@node1 ~]# rbd create vm1-image --image-feature layering --size 10G
[root@node1 ~]# rbd create vm2-image --image-feature layering --size 10G
[root@node1 ~]# rbd list
[root@node1 ~]# rbd info vm1-image
[root@node1 ~]# qemu-img info rbd:rbd/vm1-image
image: rbd:rbd/vm1-image
file format: raw
virtual size: 10G (10737418240 bytes)
disk size: unavailable
-----------------------------------------------------------------------
2）Ceph认证账户。
Ceph默认开启用户认证，客户端需要账户才可以访问，
默认账户名称为client.admin，key是账户的密钥，
可以使用ceph auth添加新账户（案例我们使用默认账户）。
[root@node1 ~]# cat /etc/ceph/ceph.conf //配置文件
[global]
mon_initial_members = node1, node2, node3
mon_host = 192.168.2.10,192.168.2.20,192.168.2.30
auth_cluster_required = cephx //开启认证
auth_service_required = cephx //开启认证
auth_client_required = cephx //开启认证
[root@node1 ~]# cat /etc/ceph/ceph.client.admin.keyring //账户文件
[client.admin]
key = AQBTsdRapUxBKRAANXtteNUyoEmQHveb75bISg==
3）部署客户端环境。
注意：这里使用真实机当客户端！！！
客户端需要安装ceph-common软件包，拷贝配置文件（否则不知道集群在哪），
拷贝连接密钥（否则无连接权限）。
[root@room9pc01 ~]# yum -y install ceph-common
[root@room9pc01 ~]# scp 192.168.4.11:/etc/ceph/ceph.conf /etc/ceph/
[root@room9pc01 ~]# scp 192.168.4.11:/etc/ceph/ceph.client.admin.keyring \
/etc/ceph/
4）创建KVM虚拟机。
使用virt-manager创建2台普通的KVM虚拟机。
5）配置libvirt secret。
编写账户信息文件（真实机操作）
[root@room9pc01 ~]# vim secret.xml //新建临时文件，内容如下
<secret ephemeral='no' private='no'>
<usage type='ceph'>
<name>client.admin secret</name>
</usage>
</secret>
#使用XML配置文件创建secret
[root@room9pc01 ~]# virsh secret-define --file secret.xml
733f0fd1-e3d6-4c25-a69f-6681fc19802b
//随机的UUID，这个UUID对应的有账户信息
编写账户信息文件（真实机操作）
[root@room9pc01 ~]# ceph auth get-key client.admin
//获取client.admin的key，或者直接查看密钥文件
[root@room9pc01 ~]# cat /etc/ceph/ceph.client.admin.keyring
设置secret，添加账户的密钥
[root@room9pc01] virsh secret-set-value \
--secret 733f0fd1-e3d6-4c25-a69f-6681fc19802b \
--base64 AQBTsdRapUxBKRAANXtteNUyoEmQHveb75bISg
//这里secret后面是之前创建的secret的UUID
//base64后面是client.admin账户的密码
//现在secret中既有账户信息又有密钥信息
6）虚拟机的XML配置文件。
每个虚拟机都会有一个XML配置文件，包括：
虚拟机的名称、内存、CPU、磁盘、网卡等信息
[root@room9pc01 ~]# vim /etc/libvirt/qemu/vm1.xml
//修改前内容如下
<disk type='file' device='disk'>
<driver name='qemu' type='qcow2'/>
<source file='/var/lib/libvirt/images/vm1.qcow2'/>
<target dev='vda' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
</disk>
----------------------------------------------------------------------
virsh list查看
virsh destroy启动
virsh --help | grep sec
virsh secret-list
qcow文件不能vim，只能ls或者ll
--------------------------------------------------------------------------
不推荐直接使用vim修改配置文件，推荐使用virsh edit修改配置文件，效果如下：要熟悉一下这个文件，不用背，记不住的。
[root@room9pc01] virsh edit vm1 //vm1为虚拟机名称
<disk type='network' device='disk'> #network
<driver name='qemu' type='raw'/>
<auth username='admin'> #手动加3句话
<secret type='ceph' uuid='733f0fd1-e3d6-4c25-a69f-6681fc19802b’/> #手动加
</auth> #手动加
<source protocol='rbd' name='rbd/vm1'> <host name='192.168.4.11' port='6789’/> </source> #name='rbd/vm1上午建的什么名字，就写对应名字,是rdb ls看一下之前建的名字
<target dev='vda' bus='virtio'/> #在虚拟机里叫什么名字
<address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
</disk>
#####################################################################################3
ceph 块存储
1linux直接使用
kvm虚拟机使用，每个虚拟机都有自己的xml文件
磁盘【块设备】----分区---格式化
fat文件系统，ntfs文件系统
ext4文件系统，xfs文件系统
inode：保存有文件名，描述信息，房间号
block，分成很多个小格子
如果生产环境误删除了，要马上关机，先不要操作。我们所看到的删除，只是在inode里，它把对应的编号给设置为delete标签了。这个收费软件可以还原finaldte。
metedata元数据
-----------------------------------
新建一台虚拟机192.168.4.14
node1操作：
vim /etc/hosts
192.168.4.14 node4 #所有其他机子也追加这一行
ssh-copy-id 192.168.4.14
或者ssh-copy-id node4
for i in 10 11 12 13 14
>do
> scp /etc/hosts 192.168.4.$i:/etc/hosts
>done
时间同步
scp /etc/chrony.conf node4:/etc/
scp /etc/yum.repos.d/{rhel7.repo,ceph.repo} node4:/etc/yum.repos.d/
------------------------------
node4:
systemctl restart chronyd
yum repolist
-----------------------------
ceph 文件系统
mon监控
osd存储
mds(metedata) inode
-------------------------------------
登陆node4，安装ceph-mds软件包
[root@node4 ~]# yum -y install ceph-mds #装好包后，在/etc/ceph有一个rbdmap
-----------------------------------
登陆node1部署节点操作
[root@node1 ~]# cd /root/ceph-cluster
//该目录，是最早部署ceph集群时，创建的目录
[root@node1 ceph-cluster]# ceph-deploy mds create node4
//给nod4拷贝配置文件，启动mds服务
-------------------------------
node4:
# systemctl status ceph
# systemctl status ceph-mds@node4.service
# ls /etc/ceph
------------------------------------
node1:
ceph-deploy admin node4
