ceph osd磁盘更换

前情提示　

　　近期发现磁盘有可能出现坏盘的情况，需要对坏掉的磁盘进行更换，所以有了此次换盘操作。

ceph架构介绍

　　ceph集群由3台物搭建的对象存储，3＊1 mon + 3 * 1 rgw + 3 * 8 osd，每台物理机上有一个ssd盘，每个ssd分为8个分区，每个分区对应1个osd的journal，osd数据盘均由于单块hdd盘构成，每个数据盘大小为8T，每块数据盘的存储数据为500-600G数据，副本数为3。

ceph操作

• 在替换磁盘之间把坏的磁盘先从ceph的osd集群中移除

#以下语句在管理节点执行（不迁移数据）
ceph osd set noout

----- 在monitor上操作 -----
ceph osd out osd.9

# 在相应的节点机上停止服务
ceph stop ceph-osd@9

----- 在monitory上操作 -----
#删除 CRUSH 图的对应 OSD 条目，它就不再接收数据了
ceph osd crush remove osd.9

#移除osd认证key
ceph auth del osd.9

#从osd中删除osd 9，ceph osd tree中移除
ceph osd rm osd.9

• 替换磁盘后，使用新替换盘重做osd

# 在管理节点执行（重做osd）
ceph-deploy osd create --filestore --fs-type xfs --data /dev/sdf --journal /dev/nvme0n1p6 af1-002

• 新增osd操作成功后，恢复数据

# 查osd集群是否正常
ceph osd tree

#重启完毕后再执行
ceph osd unset noout

# 查看ceph集群数据恢复情况
ceph -w

　　至此，osd数据盘替换操作步骤完成，静待副本数据恢复便可。