Ceph 存储集群配置之 POOL、PG 和 CRUSH 配置参考

当您创建池并为每个池设置归置组 (PG) 的数量时，如果您没有专门覆盖默认值，Ceph 会使用默认值。我们建议覆盖一些默认值。具体来说，我们建议设置池的副本大小并覆盖默认的归置组数量。您可以在运行池命令时专门设置这些值。您还可以通过在Ceph 配置文件的[global]部分中添加新的来覆盖默认值。

[global]

	# By default, Ceph makes 3 replicas of RADOS objects. If you want to maintain four
	# copies of an object the default value--a primary copy and three replica
	# copies--reset the default values as shown in 'osd_pool_default_size'.
	# If you want to allow Ceph to write a lesser number of copies in a degraded
	# state, set 'osd_pool_default_min_size' to a number less than the
	# 'osd_pool_default_size' value.

	osd_pool_default_size = 3  # Write an object 3 times.
	osd_pool_default_min_size = 2 # Allow writing two copies in a degraded state.

	# Ensure you have a realistic number of placement groups. We recommend
	# approximately 100 per OSD. E.g., total number of OSDs multiplied by 100
	# divided by the number of replicas (i.e., osd pool default size). So for
	# 10 OSDs and osd pool default size = 4, we'd recommend approximately
	# (100 * 10) / 4 = 250.
        # always use the nearest power of 2

	osd_pool_default_pg_num = 256
	osd_pool_default_pgp_num = 256

mon_max_pool_pg_num

描述：每个池的最大归置组数。
类型：整数
默认：65536

mon_pg_create_interval

描述：在同一个 Ceph OSD 守护进程中创建 PG 之间的秒数。
类型：Float
默认：30.0

mon_pg_stuck_threshold

描述：可以认为 PG 被卡住的秒数。
类型：32 位整数
默认：300

mon_pg_min_inactive

描述：如果 PG 的非活动时间mon_pg_stuck_threshold超过此设置，则提升HEALTH_ERR。非正数表示禁用，永远不会进入 ERR。
类型：整数
默认：1

mon_pg_warn_min_per_osd

描述：如果每个OSD的平均 PG 数低于此数字，则上升HEALTH_WARN。非正数禁用此功能。
类型：整数
默认：30

mon_pg_warn_min_objects

描述：如果集群中的 RADOS 对象总数低于此数字，则不发出警告
类型：整数
默认：1000

mon_pg_warn_min_pool_objects

描述：不要对 RADOS 对象计数低于此数字的池发出警告
类型：整数
默认：1000

mon_pg_check_down_all_threshold

描述：down OSD的百分比阈值，高于该阈值我们检查所有 PG 是否过时。
类型：Float
默认：0.5

mon_pg_warn_max_object_skew

描述：如果任何池的每个 PG 的平均RADOS对象计数大于mon_pg_warn_max_object_skew所有池的每个 PG 的平均 RADOS 对象计数的倍数，则引发HEALTH_WARN。零或非正数禁用此功能。请注意，此选项适用于ceph-mgr守护程序。
类型：Float
默认：10

mon_delta_reset_interval

描述：在我们将 PG delta 重置为 0 之前处于不活动状态的秒数。我们跟踪每个池的已用空间的 delta，因此，例如，我们更容易了解恢复进度或缓存层的性能。但是，如果某个池没有报告任何活动，我们只需重置该池的增量历史记录。
类型：整数
默认：10

mon_osd_max_op_age

描述：在我们担心之前的最大操作年龄（使其成为 2 的幂）。 如果请求被阻止的时间超过此限制，将引发HEALTH_WARN。
类型：Float
默认：32.0

osd_pg_bits

描述：每个 Ceph OSD 守护进程的归置组位。
类型：32 位整数
默认：6

osd_pgp_bits

描述：PGP 的每个 Ceph OSD 守护程序的位数。
类型：32 位整数
默认：6

osd_crush_chooseleaf_type

描述：在 CRUSH 规则中chooseleaf使用的存储桶类型。使用序号而不是名称。
类型：32 位整数
默认：1. 通常是包含一个或多个 Ceph OSD 守护进程的主机。

# types
type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 region
type 10 root

osd_crush_initial_weight

描述：新添加的 OSD 的初始 CRUSH 权重。
类型：Double
默认：the size of a newly added OSD in TB. 默认情况下，新添加的 OSD 的初始 CRUSH 权重设置为其设备大小（以 TB 为单位）。有关详细信息，请参阅加权存储桶项目。

osd_pool_default_crush_rule

描述：创建复制池时使用的默认 CRUSH 规则。
类型：8 位整数
默认：-1，这意味着“选择具有最低数字 ID 的规则并使用它”。这是为了在没有规则 0 的情况下创建池。

osd_pool_erasure_code_stripe_unit

描述：为纠删码池设置对象条带块的默认大小（以字节为单位）。每个大小为 S 的对象将存储为 N 个条带，每个数据块接收stripe unit字节。每个N * stripe unit字节条带将单独编码/解码。此选项可以被纠删码配置文件中的stripe_unit设置覆盖。
类型：无符号 32 位整数
默认：4096

osd_pool_default_size

描述：设置池中对象的副本数。默认值与 ceph osd pool set {pool-name} size {size} 相同 。
类型：32 位整数
默认：3

osd_pool_default_min_size

描述：设置池中对象的最小写入副本数，以便向客户端确认写入操作。如果没有达到最小值，Ceph 将不会向客户端确认写入，这可能会导致数据丢失。此设置可确保在degraded模式下运行时的副本数量最少。
类型：32 位整数
默认：0，这意味着没有特别的最小值。如果0，最小值是。size - (size / 2)

osd_pool_default_pg_num

描述：池的默认归置组数。pg_num默认值与mkpool相同。
类型：32 位整数
默认：32

osd_pool_default_pgp_num

描述：用于放置池的默认放置组数。pgp_num默认值与mkpool相同。PG 和 PGP 应该相等（目前）。
类型：32 位整数
默认：8

osd_pool_default_flags

描述：新池的默认标志。
类型：32 位整数
默认：0

osd_max_pgls

描述：要列出的最大归置组数。请求大量数字的客户端可能会占用 Ceph OSD 守护进程。
类型：无符号 64 位整数
默认：1024
笔记：默认应该没问题。

osd_min_pg_log_entries

描述：修剪日志文件时要维护的最小归置组日志数。
类型：32 位整数无符号
默认：250

osd_max_pg_log_entries

描述：修剪日志文件时要维护的最大归置组日志数。
类型：32 位整数无符号
默认：10000

osd_default_data_pool_replay_window

描述：OSD 等待客户端重放请求的时间（以秒为单位）。
类型：32 位整数
默认：45

osd_max_pg_per_osd_hard_ratio

描述：在 OSD 拒绝创建新的 PG 之前，集群允许的每个 OSD 的 PG 数量的比率。如果 OSD 服务的 PG 数量超过 osd_max_pg_per_osd_hard_ratio * mon_max_pg_per_osd，则 OSD 停止创建新的 PG 。
类型：Float
默认：2

osd_recovery_priority

描述：工作队列中的恢复优先级。
类型：整数
默认：5

osd_recovery_op_priority

描述：如果池不覆盖，则用于恢复操作的默认优先级。
类型：整数
默认：3