PVE Ceph 存储服务器配置要求及集群注意事项
服务器配置要求
- CPU
每个 Ceph 服务分配一个 CPU 内核。
- 内存
对于大约 1 TiB 的数据，通常 OSD 将使用1 GiB 的内存。
Bluestore 后端守护进程默认需要 3-5 GiB 内存 （可调整）。
- 网络
建议使用至少 10 GbE 或更高的网络带宽 专供 Ceph 使用。
一个 HDD 可能不会使 1 Gb 链路饱和，但是每个节点可以有多个 HDD OSD，可以使链路带宽饱和。
NVMe SSD 将甚至可以快速使 10 Gbps 的带宽饱和， 25、40 甚至 100 Gbps 都是可能的。
- 磁盘
一般来说，SSD 将提供比旋转磁盘更多的 IOPS。 考虑到这一点， 除了更高的成本外，实施一个 基于 CLASS 的池分离。
另一种方式 加速 OSD 是使用更快的磁盘作为 journal 或 DB/WAL。
需要平衡 OSD 数量和单个 OSD 容量。例如：3 Nodes， 12 OSDs +
避免使用 RAID 控制器。 请改用主机总线适配器 (HBA)。
PG 自动缩放
- 警告(warn) 模式：如果建议的pg_num值与当前值相差太大，则会发出健康警告。 这是新池和现有池的默认设置。
- 启用（on） 模式：无需任何管理员交互即可自动调整池pg_num。
- 禁用（off） 模式：还可以为任何给定池关闭autoscaler，让管理员像以前一样手动管理pg_num。
关于存储池 min_size
min_size 至少设置为 2，不要将 min_size 设置为 1 。 min_size 为 1 的复制池当对象只有 1 个副本时允许在对象上进行 I/O，这可能会导致数据丢失、不完整的 PG 或未找到的对象。
销毁 OSD 操作命令
ceph osd out osd.<id>
ceph osd safe-to-destroy osd.<id>
systemctl stop ceph-osd@<id>.service
pveceph osd destroy <id>
