【Ceph】Ceph 进阶系列（一）：Ceph日志和调试|日志代码
目录
一、即看即用
1 已经运行临时激活
a查看配置
查看OSD的配置：
ceph daemon osd.2 config show | less #.2 是OSD 的id
查看 mgr 、 mon 或 mds的配置：
ceph daemon mon.rdma55 config show | less #.rdma55 是ID
ceph daemon mgr.rdma55 config show | less #.rdma55 是ID
ceph daemon mds.rdma55 config show | less #.rdma55 是ID
osd 、mgr 、 mon 或 mdsID 查看方式：
查看osd 的ID：
[root@rdma55 ~]# ps -aux|grep -E "ceph-osd"|grep -v "grep"
ceph 2382201 /opt/h3c/bin/ceph-osd --cluster=ceph -i 2
ceph 2382343 /opt/h3c/bin/ceph-osd --cluster=ceph -i 9
ceph 2382487 /opt/h3c/bin/ceph-osd --cluster=ceph -i 15
ceph 2382632 /opt/h3c/bin/ceph-osd --cluster=ceph -i 22
ceph 2382835 /opt/h3c/bin/ceph-osd --cluster=ceph -i 28
ceph 2383021 /opt/h3c/bin/ceph-osd --cluster=ceph -i 32-i 后面的就是ID
查看mgr 、 mon 或 mds的ID：
[root@rdma55 ~]# ps -aux|grep -E "ceph-mgr|ceph-mon|ceph-mds"|grep -v "grep"
ceph 2268447 /opt/h3c/bin/ceph-mon -f --id rdma55
ceph 3384811 /opt/h3c/bin/ceph-mgr -f --id rdma55-i d后面的就是ID
查看配置语法说明
运行时执行下列命令，用 osd 、 mon 或 mds 替代 {daemon-type}：
ceph daemon {daemon-name} config show | less
例如：
ceph daemon osd.0 config show | less
b激活 Ceph 的调试输出（dout() ）
例子:
ceph tell osd.0 injectargs --debug-osd 0/5
ceph tell osd.4 injectargs --debug-ms 15/15
语法说明：
ceph tell 命令把参数注入运行时配置：
ceph tell {daemon-type}.{daemon id or *} injectargs --{name} {value} [--{name} {value}]
用 osd 、 mon 或 mds 替代 {daemon-type} 。 * 同类型的所有守护进程，id：指定具体守护进程。例如：
ceph tell osd.0 injectargs --debug-osd 0/5
ceph tell osd.4 injectargs --debug-ms 15/15
ceph tell 命令会通过 monitor 起作用。如果你不能绑定 monitor，仍可以登录你要改的那台主机然后用 ceph daemon 来更改。例如：
sudo ceph daemon osd.0 config set debug_osd 0/5
2 配置文件激活日志
激活 Ceph 的调试输出（dout() ）
把选项加入配置文件， [global] 段：各进程共有， [mon] 、 [osd] 、 [mds] :某类进程的配置。例如：
[global]
debug ms = 1/5
[mon]
debug mon = 20
debug paxos = 1/5
debug auth = 2
[osd]
debug osd = 1/5
debug filestore = 1/5
debug journal = 1
debug monc = 5/20
[mds]
debug mds = 1
debug mds balancer = 1
debug mds log = 1
debug mds migrator = 14 日志等级设置（log等级和内存等级）
分为：日志文件（log file level）和 内存日志（memory level）
子系统（ms、osd、rdb等）二者可以设置为统一级别，也可以分别为不同级别(用正斜杠（/）分隔它们)。如下：
debug {subsystem} = {log-level}/{memory-level}
#for example
#日志文件级别 和 内存日志级别都设置成5
debug ms = 5
#日志文件级别设置为1，内存日志级别设置为5
debug ms = 1/5
3 日志切割轮转
logrotate是linux下负责检查日志和切割轮转的服务，它的配置文件在 /etc/logrotate.d/目录下，/etc/logrotate.d/ceph是ceph添加的配置，
例如默认配置大致如此：
rotate 7
weekly
compress
sharedscripts
增加一个 size 选项，表示当日志的size达到500M就执行切割和轮转（ rotate 7只保留最近7个日志文件）
rotate 7
weekly
size 500M
compress
sharedscripts
然后，打开 crontab 编辑器。
crontab -e
最后，增加一条用以检查 /etc/logrorate.d/ceph 文件的语句。
30 * * * * /usr/sbin/logrotate /etc/logrotate.d/ceph >/dev/null 2>&1
本例中每 30 分钟检查一次 /etc/logrorate.d/ceph 文件。
二、详细说明
官网原文：日志记录和调试 — Ceph Documentation
内容：
Ceph日志分类（一个分两类log file level和memory level）、怎么设置日志级别、日志存在哪个目录等
日志记录和调试
一般来说，你应该在运行时增加调试选项来调试问题；也可以把调试选项添加到 Ceph 配置文件里来调试启动问题，然后查看 /var/log/ceph （默认位置）下的日志文件。
Tip
调试输出会拖慢系统，这种延时有可能掩盖竞争条件。
日志记录是资源密集任务。如果你碰到的问题在集群的某个特定区域，只启用那个区域对应的日志功能即可。例如，你的 OSD 运行良好、元数据服务器却不行，这时应该先打开那个可疑元数据服务器例程的调试日志；如果不行再打开各子系统的日志。
Important
详尽的日志每小时可能超过 1GB ，如果你的系统盘满了，这个节点就会停止工作。
如果你要打开或增加 Ceph 日志级别，确保系统盘空间足够。滚动日志文件的方法见加快日志更迭。集群稳定运行后，可以关闭不必要的调试选项以更好地运行。在运营中记录调试输出会拖慢系统、且浪费资源。
可用选项参见子系统、日志和调试选项。
运行时
如果你想查看一进程的运行时配置，必须先登录对应主机，然后执行命令：
ceph daemon {daemon-name} config show | less
例如：
ceph daemon osd.0 config show | less
要在运行时激活 Ceph 的调试输出（即 dout() ），用 ceph tell 命令把参数注入运行时配置：
ceph tell {daemon-type}.{daemon id or *} injectargs --{name} {value} [--{name} {value}]
用 osd 、 mon 或 mds 替代 {daemon-type} 。你可以用星号（ * ）把配置应用到同类型的所有守护进程，或者指定具体守护进程的 ID 。例如，要给名为 ods.0 的 ceph-osd 守护进程提高调试级别，用下列命令：
ceph tell osd.0 injectargs --debug-osd 0/5
ceph tell 命令会贯穿所有监视器。如果你不能绑定监视器，还可以登录你要改的那台主机用 ceph daemon 来更改。例如：
sudo ceph daemon osd.0 config set debug_osd 0/5
可用选项参见子系统、日志和调试选项。
启动时
要在启动时激活调试输出（即 dout() ），你得把选项加入配置文件。各进程共有配置可写在配置文件的 [global] 下，某类进程的配置可写在守护进程段下（如 [mon] 、 [osd] 、 [mds] ）。例如：
[global]
debug ms = 1/5
[mon]
debug mon = 20
debug paxos = 1/5
debug auth = 2
[osd]
debug osd = 1/5
debug filestore = 1/5
debug journal = 1
debug monc = 5/20
[mds]
debug mds = 1
debug mds balancer = 1
debug mds log = 1
debug mds migrator = 1
可用选项参见子系统、日志和调试选项。
加快日志更迭
如果你的系统盘比较满，可以修改 /etc/logrotate.d/ceph 内的日志滚动配置以加快滚动。在滚动频率后增加一个尺寸选项（达到此尺寸就滚动）来加快滚动（通过 cronjob ）。例如默认配置大致如此：
rotate 7 weekly compress sharedscripts
增加一个 size 选项。
rotate 7 weekly size 500M compress sharedscripts
然后，打开 crontab 编辑器。
crontab -e
最后，增加一条用以检查 /etc/logrorate.d/ceph 文件。
30 * * * * /usr/sbin/logrotate /etc/logrotate.d/ceph >/dev/null 2>&1
本例中每 30 分钟检查一次 /etc/logrorate.d/ceph 文件。
VALGRIND
你也许还得追踪内存和线程问题，可以在 Valgrind 中运行一个守护进程、一类进程、或整个集群。 Valgrind 是计算密集型程序，应该只用于开发或调试，否则会拖慢系统。其消息记录到 stderr 。
子系统、日志和调试选项
大多数情况下你可以通过子系统打开调试。
CEPH 子系统概览
各子系统都有日志级别用于分别控制其输出日志、和暂存日志，你可以分别为这些子系统设置不同的记录级别。 Ceph 的日志级别从 1 到 20 ， 1 是简洁、 20 是详尽。通常，内存驻留日志不会发送到输出日志，除非：
- 致命信号冒出来了，或者
- 源码中的 assert 被触发，或者
- 明确要求发送。详情见管理套接字文档 。
调试选项允许用单个数字同时设置日志级别和内存级别，会设置为一样。比如，如果你指定 debug ms = 5 ， Ceph 会把日志级别和内存级别都设置为 5 。也可以分别设置，第一个选项是日志级别、后一个是内存级别，二者必须用斜线（ / ）分隔。假如你想把 ms 子系统的调试日志级别设为 1 、内存级别设为 5 ，可以写为 debug ms = 1/5 ，如下：
debug {subsystem} = {log-level}/{memory-level}
#for example
debug mds log = 1/20
代码中如何使用日志
举例
在config_opts.h中的SUBSYS(ms, 0, 5)定义了ceph_debug_ms的日志级别为log_level=0，gather_level=5；
ms模块使用ldout(msgr->cct, 1) << __func__ << " start" << dendl;打印日志，其中1表示本条日志的log_level=gather_level=1；
为了方便描述分别表示为：
ms.log_level = 0;
ms.gather_level = 5;
ldout.log_level = 1;
ldout.gather = 1;
因为ms.gather_level > ldout.gather，所以本条日志会记录在内存中。
因为ms.log_level < ldout.log_level，所以本条日志不会记录到日志文件中。
但是Ceph中提供了ceph daemon type.id log dump命令可以把内存中的日志刷入日志文件中，并且不受log_level影响。
ceph日志代码分析
https://daimajiaoliu.com/daima/485fd296c900408
附录
下表列出了 Ceph 子系统及其默认日志和内存级别。一旦你完成调试，应该恢复默认值、或一个适合平常运营的级别。
| 子系统 | 日志级别 | 内存日志级别 |
|---|---|---|
| default | 0 | 5 |
| lockdep | 0 | 5 |
| context | 0 | 5 |
| crush | 1 | 5 |
| mds | 1 | 5 |
| mds balancer | 1 | 5 |
| mds locker | 1 | 5 |
| mds log | 1 | 5 |
| mds log expire | 1 | 5 |
| mds migrator | 1 | 5 |
| buffer | 0 | 0 |
| timer | 0 | 5 |
| filer | 0 | 5 |
| objecter | 0 | 0 |
| rados | 0 | 5 |
| rbd | 0 | 5 |
| journaler | 0 | 5 |
| objectcacher | 0 | 5 |
| client | 0 | 5 |
| osd | 0 | 5 |
| optracker | 0 | 5 |
| objclass | 0 | 5 |
| filestore | 1 | 5 |
| journal | 1 | 5 |
| ms | 0 | 5 |
| mon | 1 | 5 |
| monc | 0 | 5 |
| paxos | 0 | 5 |
| tp | 0 | 5 |
| auth | 1 | 5 |
| finisher | 1 | 5 |
| heartbeatmap | 1 | 5 |
| perfcounter | 1 | 5 |
| rgw | 1 | 5 |
| javaclient | 1 | 5 |
| asok | 1 | 5 |
| throttle | 1 | 5 |
日志记录选项
日志和调试选项不是必需配置，但你可以按需覆盖默认值。 Ceph 支持如下配置：
log file
| 描述: | 集群日志文件的位置。 |
|---|---|
| 类型: | String |
| 是否必需: | No |
| 默认值: | /var/log/ceph/$cluster-$name.log |
log max new
| 描述: | 新日志文件的最大数量。 |
|---|---|
| 类型: | Integer |
| 是否必需: | No |
| 默认值: | 1000 |
log max recent
| 描述: | 一个日志文件包含的最新事件的最大数量。 |
|---|---|
| 类型: | Integer |
| 是否必需: | No |
| 默认值: | 1000000 |
log to stderr
| 描述: | 设置日志消息是否输出到标准错误（ stderr ）。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | true |
err to stderr
| 描述: | 设置错误消息是否输出到标准错误（ stderr ）。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | true |
log to syslog
| 描述: | 设置日志消息是否输出到 syslog 。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
err to syslog
| 描述: | 设置错误消息是否输出到 syslog 。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
log flush on exit
| 描述: | 设置 Ceph 退出后是否回写日志文件。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | true |
clog to monitors
| 描述: | 设置是否把 clog 消息发送给监视器。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | true |
clog to syslog
| 描述: | 设置是否把 clog 输出到 syslog 。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
mon cluster log to syslog
| 描述: | 设置集群日志是否输出到 syslog 。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
mon cluster log file
| 描述: | 集群日志位置。 |
|---|---|
| 类型: | String |
| 是否必需: | No |
| 默认值: | /var/log/ceph/$cluster.log |
OSD
osd debug drop ping probability
| 描述: | ? |
|---|---|
| 类型: | Double |
| 是否必需: | No |
| 默认值: | 0 |
osd debug drop ping duration
| 描述: | |
|---|---|
| 类型: | Integer |
| 是否必需: | No |
| 默认值: | 0 |
osd debug drop pg create probability
| 描述: | |
|---|---|
| 类型: | Integer |
| 是否必需: | No |
| 默认值: | 0 |
osd debug drop pg create duration
| 描述: | ? |
|---|---|
| 类型: | Double |
| 是否必需: | No |
| 默认值: | 1 |
osd preserve trimmed log
| 描述: | 裁减后保留剩余日志。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
osd tmapput sets uses tmap
| 描述: | 使用 tmap ，仅用于调试。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
osd min pg log entries
| 描述: | 归置组日志最小条数。 |
|---|---|
| 类型: | 32-bit Unsigned Integer |
| 是否必需: | No |
| 默认值: | 1000 |
osd op log threshold
| 描述: | 一次发送多少操作日志消息。 |
|---|---|
| 类型: | Integer |
| 是否必需: | No |
| 默认值: | 5 |
FILESTORE
filestore debug omap check
| 描述: | 调试同步检查，这是昂贵的操作。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | 0 |
MDS
mds debug scatterstat
| 描述: | Ceph 将把各种回归状态常量设置为真（谨为开发者）。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
mds debug frag
| 描述: | Ceph 将在方便时校验目录碎片（谨为开发者）。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
mds debug auth pins
| 描述: | debug auth pin 开关（谨为开发者）。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
mds debug subtrees
| 描述: | debug subtree 开关（谨为开发者）。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
RADOS 网关
rgw log nonexistent bucket
| 描述: | 记录不存在的桶？ |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
rgw log object name
| 描述: | 是否记录对象名称。注：关于格式参考 man date ，子集也支持。 |
|---|---|
| 类型: | String |
| 是否必需: | No |
| 默认值: | %Y-%m-%d-%H-%i-%n |
rgw log object name utc
| 描述: | 对象日志名称包含 UTC ？ |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
rgw enable ops log
| 描述: | 允许记录 RGW 的每一个操作。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | true |
rgw enable usage log
| 描述: | 允许记录 RGW 的带宽使用。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | true |
rgw usage log flush threshold
| 描述: | 回写未决的日志数据阀值。 |
|---|---|
| 类型: | Integer |
| 是否必需: | No |
| 默认值: | 1024 |
rgw usage log tick interval
| 描述: | 每隔 s 回写一次未决日志。 |
|---|---|
| 类型: | Integer |
| 是否必需: | No |
| 默认值: | 30 |
rgw intent log object name
| 描述: | |
|---|---|
| 类型: | String |
| 是否必需: | No |
| 默认值: | %Y-%m-%d-%i-%n |
rgw intent log object name utc
| 描述: | 日志对象名字里包含 UTC 时间戳。 |
|---|---|
| 类型: | Boolean |
| 是否必需: | No |
| 默认值: | false |
Ceph 的日志级别范围是 1~20 ， 1 是简洁、 20 是详细。通常，内存驻留日志不会发送到输出日志，除非：
致命信号出现，或者
源码中的 assert 被触发，或者
明确要求发送。
Ceph 子系统及其默认日志和内存级别具体见Ceph官方文档 SUBSYSTEM, LOG AND DEBUG SETTINGS 。一旦你完成调试，应该恢复默认值，或一个适合平常运营的级别。
下表列出了CEPH子系统的 默认日志级别 和内存日志级别。你可以在完成日志记录工作后，将子系统恢复到默认级别或适合正常操作的级别。
（图表见原文）
原文链接：https://blog.csdn.net/don_chiang709/article/details/95628708
