OSD操作(扩容/缩容/换盘/数据重平衡/数据一致性)
1 OSD扩容/缩容
1.1 横向扩容(scale out)
横向扩容:简单的理解，就是增加节点，通过增加节点来达到增加容量的目的
1、部署环境，参见《02 Ceph集群规划及部署mimic》，按照所有标注node节点的执行，包括安装环境准备，用户创建，配置源，安装ceph等；
2、ceph-deploy osd create --data {data-disk} {node-name} 同步配置文件
3、添加OSD
1.2 纵向扩容(scale up)
纵向扩容：通过增加现有节点的硬盘(OSD)来达到增加容量的目的；
(1)确认osd容量情况
[cephuser@cephmanager01 cephcluster]$ sudo ceph -s
[cephuser@cephmanager01 cephcluster]$ sudo ceph osd tree
(2) 查看磁盘信息和分区信息
# node节点（osd）查看，本例在cephnode01、cephnode02、cephnode03上需要添加/dev/sdf
[root@cephnode001 ~]# lsblk
[root@cephnode001 ~]# fdisk -l
# manager节点上查看
[cephuser@cephmanager01 cephcluster]$ ceph-deploy disk list cephnode001 cephnode002 cephnode003
如果添加的盘上面有分区，可以通过如下命令清除(分区上的数据也会被清除)
ceph-deploy disk zap {osd-server-name} {disk-name}
# 清除cephmanager002上的/dev/sdf1和/dev/sdf2分区
# ceph-deploy disk zap cephmanager002 /dev/sdf1 /dev/sdf2(3)添加OSD
# 添加cephnode001的/dev/sdf
[cephuser@cephmanager01 cephcluster]$ ceph-deploy osd create --data /dev/sdf cephnode001
# 添加cephnode002的/dev/sdf
[cephuser@cephmanager01 cephcluster]$ ceph-deploy osd create --data /dev/sdf cephnode002
# 添加cephnode003的/dev/sdf
[cephuser@cephmanager01 cephcluster]$ ceph-deploy osd create --data /dev/sdf cephnode003(4)确认添加结果
[cephuser@cephmanager01 ~]$ sudo ceph -s
[cephuser@cephmanager01 ~]$ sudo ceph osd tree
1.3 缩容:删除OSD
删除osd，一般分两种情况，一种情况是服务故障，这个时候重启有故障的osd即可，如下：
[root@cephnode002 ceph]# systemctl restart ceph-osd@5.service 另外一种情况是物理坏块，特别是在即将坏的过程中，对集群性能影响极大，可以通过查看日志和延迟情况来确认，如下.这种情况可以先踢掉故障osd。
[root@cephmanager01 ~]# ceph osd perf这里以cephnode001上的osd.12为例
步骤1:停止相应OSD服务
此步骤需要在Down掉的OSD所在节点上操作，[root@cephnode001 ~]# systemctl stop ceph-osd@12
步骤2:取消OSD挂载
安装OSD时，会将osd.12挂载至/var/lib/ceph/osd/ceph-12，因此，删除OSD时，需要首先取消OSD挂载
# 查看osd.12的源数据信息
[root@cephnode001 ~]# ceph osd metadata 12
"bluestore_bdev_partition_path": "/dev/dm-7"
[root@cephnode001 ~]# ll /dev/mapper/* |grep dm-7
[root@cephnode001 ~]# umount /var/lib/ceph/osd/ceph-12/
这里磁盘路径是/dev/sdf
步骤3: 设置OSD为OUT
# 将osd.12的状态设置为out，对应权重reweight会变为0
[cephuser@cephmanager01 cephcluster]$ sudo ceph osd out 12步骤4:删除OSD
#从集群中删除
[cephuser@cephmanager01 cephcluster]$ sudo ceph osd rm osd.12
# 从CRUSH中删除，然后通过ceph osd crush dump确认没有对应信息
[cephuser@cephmanager01 cephcluster]$ sudo ceph osd crush rm osd.12
# 删除osd.12的认证信息，然后通过ceph auth list确认有没有对应信息
[cephuser@cephmanager01 cephcluster]$ sudo ceph auth del osd.12步骤5:清空已删除磁盘中的内容
# 确认osd.12已经移除
[cephuser@cephmanager01 cephcluster]$ sudo ceph osd tree
# 清空磁盘中的数据
[root@cephnode001 ~]# wipefs -af /dev/sdf确认osd.12已经移除，同时/dev/sdf已经没有挂载信息
1.4 换盘
可以简单的理解为删除osd(详见1.3)和添加OSD(相见1.2)的过程；
2 REBALANCING数据重平衡
2.1 数据重平衡演示
当有新的osd加入集群或者移除了osd，就会把状态上报给Monitor，Monitor知道了osd map发生了变化就会触发rebalancing，确保pg能够平滑的移动到各个osd上。以pg为整体进行数据重平衡，重平衡的过程中可能会影响性能。一次性加入的osd越多，数据rebalancing就越频繁，业务也可能因此受到影响。生产环境中，强烈建议一次只添加一个osd，最大限度的减少性能和业务的影响。
(1)准备数据文件
# 或者拷贝一些大文件到rbd或者cephfs里面
[root@localhost ~]# cp -r project/ /cephfs
[root@localhost ~]# cp -r project/ /ceph_disk_rbd(2)添加osd或者删除osd，或者直接停掉单个osd的服务
# 添加cephnode001的/dev/sdf, 由于刚刚我们删除了，这里需要zap一下该磁盘
[cephuser@cephmanager01 cephcluster]$ ceph-deploy disk zap cephnode001 /dev/sdf
[cephuser@cephmanager01 cephcluster]$ ceph-deploy osd create --data /dev/sdf cephnode001
# 确认已经添加进来
[cephuser@cephmanager01 cephcluster]$ sudo ceph osd tree(3)查看数据平衡情况
# 查看平衡情况
[root@cephmanager01 ~]# ceph -s
2.2 临时关闭rebalance
当在做rebalance的时候，每个osd都会按照osd_max_backfills指定数量的线程来同步,如果该数值比较大，同步会比较快，但是会影响部分性能；另外数据同步时，是走的cluster_network,而客户端连接是用的public_network,生产环境建议这两个网络用万兆网络，较少网络传输的影响；
[root@cephnode001 ~]# ceph --admin-daemon /var/run/ceph/ceph-osd.12.asok config show |grep max_backfills 同样，为了避免业务繁忙时候rebalance带来的性能影响，可以对rebalance进行关闭；当业务比较小的时候，再打开；
# 设置标志位
[root@cephmanager01 ~]# ceph osd set norebalance
# 关闭数据填充
[root@cephmanager01 ~]# ceph osd set nobackfill
取消继续进行rebalance:
[root@cephmanager01 ~]# ceph osd unset nobackfill
[root@cephmanager01 ~]# ceph osd unset norebalance3 数据一致性检查
ceph会定期去检查指定冗余副本数的数据是否一致。分两种情况检查：
3.1 scrub
比较轻量级的检查，主要检查元数据(metadata )信息，比如文件名、object属性、大小等，如果不一样，就会从主pg复制一份过去。一般每天都会检查。
# 获取pgid
[root@cephmanager01 ~]# ceph pg dump
# 数据一致性检查
[root@cephmanager01 ~]# ceph pg scrub 2.19
# 查看对应的scrub信息
[root@cephmanager01 ~]# ceph -s3.2 deeper scrubbing
深度一致性检查，主要对比数据内容。数据量比较大的时候，这个检查相对来说比较耗费资源。一般每周检查。
# 深度检查
[root@cephmanager01 ~]# ceph pg deep-scrub 2.19
# 查看对应的scrub信息
[root@cephmanager01 ~]# ceph -s也可以对所有的pg做deep-scrub操作
