Ceph V4.0学习笔记- 系统构建（2）

一个Ceph集群可以分成不同的性能Domain. 也可以根据不同的性能要求构建多个集群，在服务器形态上尽可能的保持统一的延续性。

其中，Ceph Client负责IO请求和接收，Ceph提供一个池化的存储空间，这个存储空间池是一个逻辑上的空间，实际上Ceph clients 与Ceph daemons中的 (Ceph OSDs, or simply OSDs) 直接通过CRUSH 哈希算法控制下的复制来实现直接通信， 这个map表在Client和Ceph Monitor (MON) nodes 上都有，这样Client就直接访问OSD的数据， Client和OSD上有CRUSH mapping表，去除了中心化的Metadata数据查找。

CRUSH map可以实现failure domains也同时使用CRUSH map 实现performance domains。 CRUSH map 主要是用来描述Ceph stores data, 可以可以清楚的看到mapping 的规则集， 通过它就可以简单的实现分层架构的存储逻辑。

一般的， 构建一个Ceph集群需要以下单元：
1） Networking Switches:
2) Ceph Monitor Node: 负责管理集群，并保存集群Log, 至少是3个节点(必须是奇数的集群节点）
3) Ceph OSD hosts: Ceph的存储数据单元

IOPS 优化型：
提供块存储，一般的3x副本结构，对于SSD, 一般按2x副本架构。
典型的工作负载： MySQL, MariaDB 或 Openstack后端Cinder对接的存储架构。

• Lowest cost per IOPS.
• Highest IOPS per GB.
• 99% latency consistency.

典型配置如下：
1） OSD 节点： NVMe SSD, 采用NVMe SSDs一般就讲 Ceph write journals 也部署在OSD Disk 上;
CPU: 10 cores/NVMe SSD, assuming a 2 GHz CPU. (SAS/SATA SSD可以是2Core/SSD)
RAM: 16 GB baseline, plus 5 GB/OSD.
Networking: 10 Gigabit Ethernet (GbE) per 2 OSDs.
OSD media: High-performance, high-endurance enterprise NVMe SSDs. (>Mixed Used SSD)
OSDs: Two per NVMe SSD
Journal media: High-performance, high-endurance enterprise NVMe SSD, co-located with OSDs.
Controller: Native PCIe bus.

吞吐带宽优化型：
提供块或对象存储，一般的3x副本架构。 典型的工作负载如Video, audio 及Images, 流媒体(Streaming Media) .

• Lowest cost per MBps (throughput).
• Highest MBps per TB.
• Highest MBps per BTU.
• Highest MBps per Watt.
• 97% latency consistency.

典型配置:
CPU: 0.5 cores per HDD, assuming a 2 GHz CPU.
RAM: 16 GB baseline, plus 5 GB per OSD.
Networking: 10 GbE per 12 OSDs each for client- and cluster-facing networks.
OSD media: 7,200 RPM enterprise HDDs.
OSDs: One per HDD.
Journal media: High-endurance, high-performance enterprise serial-attached SCSI (SAS) or NVMe SSDs.
OSD-to-journal ratio: 4-5:1 for an SSD journal, or 12-18:2 for an NVMe journal.
Host bus adapter (HBA): Just a bunch of disks (JBOD).

成本优化型：（大容量）
对象存储模式， 采用Erasure Coding 来实现最大的经济性，典型的工作负载为： 归档、Video, audio, and image object repositories.

• Lowest cost per TB.
• Lowest BTU per TB.
• Lowest Watts required per TB.

典型配置：
CPU. 0.5 cores per HDD, assuming a 2 GHz CPU.
RAM. 16 GB baseline, plus 5 GB per OSD.
Networking. 10 GbE per 12 OSDs (each for client- and cluster-facing networks).
OSD media. 7,200 RPM enterprise HDDs.
OSDs. One per HDD.
Journal media. Co-located on the HDD.
HBA. JBOD.

一般的，可以考虑密度更高的存储型服务器，比如大于24块盘的存储型服务器。