使用ceph-deploy安装L版开源存储
使用ceph-deploy安装L版开源存储
配置时间服务器、做本地免密、设置防火墙的策略、配置selinux(略)
配置yum源(开源ceph安装需要依赖于base、epel和ceph源)
修改base源
# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
修改epel源
# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
配置ceph源
15版本
http://mirrors.aliyun.com/ceph/rpm-octopus/el7/x86_64/
# cat << EOM > /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
gpgcheck=0
priority =1
[ceph-noarch]
name=cephnoarch
gpgcheck=0
priority =1
[ceph-source]
name=Ceph source packages
gpgcheck=0
priority=1
EOM
建立元数据缓存
# yum clean all && yum makecache
安装ceph包(ceph-deploy >= 2.0.1)
# yum -y install ceph-deploy ceph
部署ceph集群
# cd /etc/ceph/
# ceph-deploy new $HOSTNAME
修改配置文件
# vim ceph.conf
osd pool default size = 1
osd pool default min size = 1
mon osd max split count = 1024
mon max pg per osd = 512
mon allow pool delete = true
public_network= ip段/24
mon_host=ip:6789
mon_initial_members=主机名
--------------------------------------------------
例如:
public_network= 172.16.68.11/24
mon_host = 172.16.68.11
mon_initial_members=sds1
部署初始化监视器生产密钥
# ceph-deploy mon create-initial
部署mgr
# ceph-deploy mgr create $HOSTNAME
开启dashboard(非必须步骤)(以下为L版本步骤)
# ceph mgr module enable dashboard
# ceph config-key set mgr/dashboard/server_addr X.X.X.X
# ceph config-key set mgr/dashboard/server_port 8443
重启ceph让配置文件生效(这里重启是为了让上面的配置文件和配置的dashbord的配置生效,故重启的ceph.target)
# systemctl restart ceph.target
查询URL
# ceph mgr services
(通过命令查看URL后,在浏览器打开即可,L版本UI没有密码)
拷贝密钥(如果有多个节点需要同步密码,非必须步骤)
# ceph-deploy admin $HOSTNAME2 $HOSTNAME3
创建osd
# ceph-deploy osd create --data /dev/sdb $HOSTNAME
(报错“error: GPT headers found, they must be removed on: /dev/sdb”,使用“# sgdisk --zap-all /dev/sdb”解决)
删除osd(0为osd的号码)
# systemctl stop ceph-osd@0
# ceph osd purge osd.0 --yes-i-really-mean-it
删除lvm
# lvdisplay 查看
# lvremove /dev/ceph-265dddd7-ef18-42f7-869e-58e669638032/osd-data-3fa4b9df-6a59-476a-8aaa-4138b29acce9 删除
# ceph-deploy disk zap $HOSTNAME /dev/sdb 格式化磁盘
创建存储池(pg及pgp个数根据实际填写,单副本每个osd不要超过100个pg,多副本,osd个数*100/副本数)
# ceph osd pool create mytest 256 256
如果创建pg过多会触发告警的BUG,(https://tracker.ceph.com/issues/24687),减少pg/pgp数即可。
设置pool的类型
# ceph osd pool application enable mytest rbd
创建卷
# rbd create -s 100M mytest/rbd-test
清除ceph集群,并卸载安装包
# ceph-deploy purge $HOSTNAME