CentOS7安装OpenStack-11.部署Ceph分布式存储架构
11.0、概述
-
随着OpenStack日渐成为开源云计算的标准软件栈,Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。
-
ceph官方文档:http://docs.ceph.org.cn/
-
ceph中文开源社区:http://ceph.org.cn/
-
Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储,所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。当然也可以单独作为存储,例如部署一套集群作为对象存储、SAN存储、NAS存储等。
1)ceph支持
-
对象存储:即radosgw,兼容S3接口。通过rest api上传、下载文件。
-
文件系统:posix接口。可以将ceph集群看做一个共享文件系统挂载到本地。
-
块存储:即rbd。有kernel rbd和librbd两种使用方式。支持快照、克隆。相当于一块硬盘挂到本地,用法和用途和硬盘一样。比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的后端存储
2)Ceph相比其它分布式存储有哪些优点?
-
统一存储:虽然ceph底层是一个分布式文件系统,但由于在上层开发了支持对象和块的接口。所以在开源存储软件中,能够一统江湖。至于能不能千秋万代,就不知了。
-
高扩展性:扩容方便、容量大。能够管理上千台服务器、EB级的容量。
-
可靠性强:支持多份强一致性副本,EC。副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自管理、自动修复。无单点故障,容错性强。
-
高性能:因为是多个副本,因此在读写操作时候能够做到高度并行化。理论上,节点越多,整个集群的IOPS和吞吐量越高。另外一点ceph客户端读写数据直接与存储设备(osd) 交互。
3)Ceph各组件介绍
- Ceph OSDs: Ceph OSD 守护进程( Ceph OSD )的功能是存储数据,处理数据的复制、恢复、回填、再均衡,并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当Ceph 存储集群设定为有2个副本时,至少需要2个 OSD 守护进程,集群才能达到 active+clean 状态( Ceph 默认有3个副本,但你可以调整副本数)。
- Monitors: Ceph Monitor维护着展示集群状态的各种图表,包括监视器图、 OSD 图、归置组( PG )图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和PG上的每一次状态变更的历史信息(称为 epoch )。
- MDSs: Ceph 元数据服务器( MDS )为 Ceph 文件系统存储元数据(也就是说,Ceph 块设备和 Ceph 对象存储不使用MDS )。元数据服务器使得 POSIX 文件系统的用户们,可以在不对 Ceph 存储集群造成负担的前提下,执行诸如 ls、find 等基本命令。
11.1、Ceph实验集群部署
1) 禁用selinux, 关闭防火墙
# 关闭SELinux setenforce 0 sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config systemctl stop firewalld.service systemctl disable firewalld.service
2)主机准备(编辑hosts文件)
controller 192.168.182.143 admin,mon # 作为管理节点和监控节点 compute1 192.168.182.142 osd,mds compute2 192.168.182.128 osd,mds
# controller作管理. osd. mon节点
3)2台服务器都增加一块硬盘实验(compute1,compute2)
如果看不到新增的磁盘设备,则重启虚拟机;或者执行下面命令重新扫描一下磁盘,注意查看/sys/class/scsi_host/目录下有几个host文件
重新扫描SCSI总线添加设备
echo "- - -" > /sys/class/scsi_host/host0/scan
echo "- - -" > /sys/class/scsi_host/host1/scan
echo "- - -" > /sys/class/scsi_host/host2/scan
注意,如果扫描这三个文件不成,就全部扫描一遍
cat /usr/local/src/test.sh #!/usr/bin/bash scsisum=`ll /sys/class/scsi_host/host*|wc -l` for ((i=0;i<${scsisum};i++)) do echo "- - -" > /sys/class/scsi_host/host${i}/scan done #echo "- - -" > /sys/class/scsi_host/host0/scan 这三个值代表通道,SCSI目标ID和LUN。破折号充当通配符,意思是“重新扫描一切”
4)SSH免密码登录
# 在管理节点使用ssh-keygen 生成ssh keys 发布到各节点
# controller
ssh-keygen ssh-copy-id controller ssh-copy-id compute1 ssh-copy-id compute2
5)配置时间同步
# 所有节点安装 yum install chrony -y # 编辑配置文件vim /etc/chrony.conf # ========controller======== # 去掉原有的server server ntp6.aliyun.com iburst allow 192.168.182.0/24 # 重启 systemctl restart chronyd.service systemctl status chronyd.service systemctl enable chronyd.service # 设置时区,同步时间 timedatectl set-timezone Asia/Shanghai chronyc sources timedatectl status # ========compute1======== # 去掉原有的server server 192.168.182.143 iburst # 重启 systemctl restart chronyd.service systemctl status chronyd.service systemctl enable chronyd.service # 设置时区,同步时间 timedatectl set-timezone Asia/Shanghai chronyc sources timedatectl status # ========compute2======== # 去掉原有的server server 192.168.182.143 iburst # 重启 systemctl restart chronyd.service systemctl status chronyd.service systemctl enable chronyd.service # 设置时区,同步时间 timedatectl set-timezone Asia/Shanghai chronyc sources timedatectl status
5)管理节点安装ceph-deploy工具
# 增加 yum配置文件(各个节点都需要增加yum源)
wget -O /etc/yum.repos.d/ceph.repo https://raw.githubusercontent.com/aishangwei/ceph-demo/master/ceph-deploy/ceph.repo
或者
cat << EOF > /etc/yum.repos.d/ceph.repo [ceph] name=ceph baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/x86_64/ gpgcheck=0 priority=1 [ceph-noarch] name=cephnoarch baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch/ gpgcheck=0 priority=1 [ceph-source] name=Ceph source packages baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS enabled=0 gpgcheck=1 type=rpm-md gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc priority=1 EOF
# 更新软件源并安装ceph-deploy 管理工具
yum clean all && yum makecache
yum -y install ceph-deploy
6)创建monitor服务
# controller
mkdir /etc/ceph && cd /etc/ceph
# 创建监控节点
ceph-deploy new controller
# Ceph配置文件、一个monitor密钥环和一个日志文件
7)修改副本数
# 配置文件的默认副本数从3改成2,这样只有两个osd也能达到active+clean状态,把下面这行加入到[global]段(可选配置)
$ vim /etc/ceph/ceph.conf [global] fsid = 92f5581d-79d2-4c9f-a523-4965eedc846b mon_initial_members = controller mon_host = 192.168.182.143 auth_cluster_required = cephx auth_service_required = cephx auth_client_required = cephx osd_pool_default_size = 2
# 在所有节点安装ceph
ceph-deploy install --release mimic controller compute1 compute2
# 创建monitor、配置admin key到各个节点
# 完成后,在当前目录下会生成密钥 ceph-deploy mon create-initial ls # 配置admin key 到各个节点 ceph-deploy admin compute1 compute2
8)部署osd服务
# 创建osd
# controller
ceph-deploy osd create compute1 --data /dev/sdb
ceph-deploy osd create compute2 --data /dev/sdb
# 查看状态
ceph-deploy osd list compute1 compute2
9)统一配置
# 配置admin key 到各个节点
ceph-deploy admin controller compute1 compute2
# monitor上安装mgr
ceph-deploy mgr create controller
# 查看osd状态
ceph status
ceph health
ceph -s
10)部署mds服务
ceph-deploy mds create compute1 compute2
# 查看状态
ceph mds stat
# 集群状态
ceph -s
11)创建ceph文件系统
# 查看
ceph fs ls
# 创建存储池
ceph osd pool create cephfs_data <pg_num> ceph osd pool create cephfs_metadata <pg_num>
# 删除存储池
ceph osd pool delete cephfs_data cephfs_data --yes-i-really-really-mean-it
ceph osd pool delete cephfs_metadata cephfs_metadata --yes-i-really-really-mean-it
其中:<pg_num> = 128 ,
关于创建存储池
确定 pg_num 取值是强制性的,因为不能自动计算。下面是几个常用的值:
*少于 5 个 OSD 时可把 pg_num 设置为 128
*OSD 数量在 5 到 10 个时,可把 pg_num 设置为 512
*OSD 数量在 10 到 50 个时,可把 pg_num 设置为 4096
*OSD 数量大于 50 时,你得理解权衡方法、以及如何自己计算 pg_num 取值
*自己计算 pg_num 取值时可借助 pgcalc 工具
随着 OSD 数量的增加,正确的 pg_num 取值变得更加重要,因为它显著地影响着集群的行为、以及出错时的数据持久性(即灾难性事件导致数据丢失的概率)。
# 常见操作
# 设置存储池副本数 ceph osd pool get data size ceph osd pool set data size 3 # 打印存储池列表 ceph osd lspools # 创建 删除 存储池 # 创建pool ceph osd pool create testPool 64 # 重命名pool ceph osd pool rename testPool amizPool # 获取pool 副本数 ceph osd pool get amizPool size # 设置pool 副本数 ceph osd pool set amizPool size 3 # 获取pool pg_num/pgp_num ceph osd pool get amizPool pg_num ceph osd pool get amizPool pgp_num # 设置pool pg_num/pgp_num ceph osd pool set amizPool pg_num 128 ceph osd pool set amizPool pgp_num 128 # 删除存储池 ceph osd pool delete amizPool amizPool --yes-i-really-really-mean-it # 删除池提示错误 # Error EBUSY: pool 'testpool' is in use by CephFS ceph mds remove_data_pool testpool ceph osd pool delete testpool testpool --yes-i-really-really-mean-it
# 查看存储池pool 配额 ceph osd pool get-quota poolroom1
11.1、创建文件系统
# 创建好存储池后,你就可以用 fs new 命令创建文件系统了,其中:<fs_name> = cephfs 可自定义
ceph fs new <fs_name> cephfs_metadata cephfs_data
# 查看创建后的cephfs
ceph fs ls
# 查看mds节点状态,active是活跃的,另1个是处于热备份的状态
ceph mds stat
# 删除Cephfs和mds
# 机器上停止ceph mds服务
systemctl stop ceph-mds.target
# 删除Cephfs,有mds daemons的Cephfs删除会报错,然后去mds daemon机器上停止mds服务即可
ceph fs rm tstfs
Error EINVAL: all MDS daemons must be inactive before removing filesystem
ceph fs rm tstfs2
Error EPERM: this is a DESTRUCTIVE operation and will make data in your filesystem permanentlyinaccessible. Add --yes-i-really-mean-it if you are sure you wish to continue.
ceph fs rm tstfs2 --yes-i-really-mean-it
ceph fs rm tstfs --yes-i-really-mean-it
# 删除ceph nonactive mds,mds的id默认从0开始,指定不存在的id并不会报错
ceph mds rm 0
mds gid 0 dne
ceph mds rm 1
mds gid 1 dne
ceph mds rm 2
mds gid 2 dne
# 删除Cephfs使用的pool
ceph osd pool delete Cephfs_metadata Cephfs_metadata --yes-i-really-really-mean-it
# Error EPERM: pool deletion is disabled; you must first set the mon_allow_pool_delete config option to true before you can destroy a pool
# 添加如下内容 $ vim /etc/ceph/ceph.conf [mon] mon_allow_pool_delete = true
# 重新启动服务
systemctl restart ceph-mds.target
A:内核驱动挂载Ceph文件系统
# 创建挂载点
mkdir /opt
- # 存储密钥(如果没有在管理节点使用ceph-deploy拷贝ceph配置文件)
# cat
/etc/ceph/ceph
.client.admin.keyring
# 将key对应的值复制下来保存到文件:
/etc/ceph/admin
.secret中。
mount -t ceph 192.168.182.143:6789:/ /opt -o name=admin,secretfile=/etc/ceph/admin.secret
# 取消挂载
umount /opt
B:用户控件挂载Ceph文件系统
# 安装ceph-fuse
yum install -y ceph-fuse
# 挂载
ceph-fuse -m 192.168.182.143:6789 /opt
# 取消挂载
fusermount -u /opt
ceph在开源社区还是比较热门的,但是更多的是应用于云计算的后端存储。所以大多数在生产环境中使用ceph的公司都会有专门的团队对ceph进行二次开发,ceph的运维难度也比较大。但是经过合理的优化之后,ceph的性能和稳定性都是值得期待的。
12)关于其他
清理机器上的ceph相关配置:
-
停止所有进程: stop ceph-all
-
卸载所有ceph程序:ceph-deploy uninstall [{ceph-node}]
-
删除ceph相关的安装包:ceph-deploy purge {ceph-node} [{ceph-data}]
-
删除ceph相关的配置:ceph-deploy purgedata {ceph-node} [{ceph-data}]
-
删除key:ceph-deploy forgetkeys
-
卸载ceph-deploy管理:yum -y remove ceph-deploy
~~~部署Ceph分布式存储完成~~~