rsyslog 配置详解
Rsyslog 详解
日常工作中,常遇到些问题,会查看Linux的系统日志,日志多种多样,boot.log, messages, auth.log, syslog等等,但每次出现问题总是凭借直觉和经验去一个一个翻,是下下策。搭建ELK,或者Graylog等日志分析系统也是极好的,但是体积太大了,需要考虑和维护的东西也就更多。故而通过一些更轻量级的配置,加上自己的一些理解分析,想实现一套日志分析系统。而针对系统模块的日志,首当其冲的是要搞定rsyslog。
以下主要是针对rsyslog配置的讲解。
日志整理
对日志进行分析,首先第一步要规整日志。
/etc/rsyslog.conf
是rsyslog服务的总配置文件/etc/rsyslog.d
该目录是单独配置的rsyslog配置文件
vim /etc/rsyslog.conf
# Include all config files in /etc/rsyslog.d/
#
$IncludeConfig /etc/rsyslog.d/*.conf
# 个人建议,将所有的rule都配置在该目录下,在/etc/rsyslog.conf中不写rule
日志类别
-
系统日志
- 通过修改/etc/rsyslog.conf以及/etc/rsyslog.d/xxx.conf,来控制各种日志的输出
日志类型 日志内容 auth 用户认证时产生的日志 authpriv ssh、ftp等登录信息的验证信息 daemon 一些守护进程产生的日志 ftp FTP产生的日志 lpr 打印相关活动 mark 服务内部的信息,时间标识 news 网络新闻传输协议(nntp)产生的消息。 syslog 系统日志 security uucp Unix-to-Unix Copy 两个unix之间的相关通信 console 针对系统控制台的消息。 cron 系统执行定时任务产生的日志。 kern 系统内核日志 local0~local7 自定义程序使用 mail 邮件日志 user 用户进程 Note: 不建议使用关键字 security,并且 mark仅供内部使用,因此不应在应用程序中使用
日志等级 说明 7 emerg 紧急情况,系统不可用(例如系统崩溃),一般会通知所有用户。 6 alert 需要立即修复的告警。 5 crit 危险情况,例如硬盘错误,可能会阻碍程序的部分功能。 4 error/err 一般错误消息。 3 warning/warn 警告。 2 notice 不是错误,但是可能需要处理。 1 info 通用性消息,一般用来提供有用信息。 0 debug 调试程序产生的信息。 none 没有优先级,不记录任何日志消息。
结合使用的 rule 示例(懒人福利,CV大法,即粘即用)
# 记录mail日志等级为error及以上日志 mail.err /var/log/mail_err.log # 记录mail所有等级为warn级别的日志(仅记录warn级别) mail.=warn /var/log/mail_err.log # 记录kern所有日志 kern.* /var/log/kern.log # 将mail的所有信息,除了info以外,其他的都写入/var/adm/mail mail.*;mail.!=info /var/adm/mail # 将日志等级为crit或更高的内核消息定向到远程主机finlandia # 如果主机崩溃,磁盘出现不可修复的错误,可能无法读取存储的消息。如果有日志在远程主机上,可以尝试找出崩溃的原因。 kern.crit @finlandia # 记录所有类型的warning等级及以上日志 *.warning /var/log/syslog_warn.log # 记录mail的warning日志和kern的error日志,其他所有的info日志 *.info;mail.warning;kern.error /var/log/messages # 记录kernel的info到warning日志 kern.info;kern.!err /var/adm/kernel-info # 将mail和news的info级别日志写入/var/adminfo mail,news.=info /var/adm/info # 将所有系统中所有类型的info日志和notice日志存入/var/log/massages,mail的所有日志除外。 *.=info;*.=notice;\ mail.none /var/log/messages # 紧急消息(emerg级别)将使用wall显示给当前所有登录的用户 *.=emerg * # 该规则将所有alert以及更高级别的消息定向到操作员的终端,即登录的用户“root”和“joey”的终端。 *.alert root,joey
注意事项(标题这么大,这段别落下)
单独把这个拎出来写。
上面的大概就是所有能用到的规则了,而这些规则有时候还是有些问题的
For example?
Exapmple A
mail.crit,*.err /var/log/syslog_err.log # 这样的情况,最终的结果还是会把mail的err级别日志输出到syslog_err.log
Exapmple B
mail.!warn /var/log/mail.log # 看起来是将mail的warn以下级别的日志输出到/var/log/mail.log,其实不然,你会发现你什么也得不到。 # 官方的解释是,感叹号(就是形似这个的符号 ==> !) 就是个过滤器,你得先有东西,才能去过去,比如: mail.*;mail.!warn /var/log/mail.log
Exapmple C
如果在规则结束后立即使用反斜杠,而中间没有空格,那么使用反斜杠将行一分为二是无效的。
以上都是官方建议
以下是个人建议
既然是规整日志,不管是出于什么原因,那一定是为了用起来更方便,看起来更简洁。别整太多花里胡哨的,实用就行。想明白自己要啥效果,捡自己用得着的看就行。莫要本末倒置,化简为繁。
- 修改系统日志的输出格式
rsyslog Properties
模板元素属性
属性 | 释义| |
---|---|
msg | 日志的信息内容,message。 |
rawmsg | 不转义的日志内容。转义是默认开启的(EscapecontrolCharactersOnReceive),所以它有可能与socket中接收到的内容不同。 |
rawmsg-after-pri | 几乎与rawmsg相同,但是删除了syslog PRI。 |
hostname | 打印该日志的主机名。 |
source | hostname属性的别名。 |
fromhost | 接收的信息来自于哪个节点。这里是DNS解析的名字。 |
fromhost-ip | 接收的信息来自于哪个节点,这里是IP,本地的是127.0.0.1。 |
syslogtag | 信息标签。大致形如 programed[14321] 。 |
programname | tag的一部分,就是上面的programed那个位置。 |
pri | 消息的PRI部分-未解码(单值) |
pri-text | 文本形式的消息的PRI部分,并在括号中添加数值PRI(例如“local0.err<133>”) |
iut | InfoUnitType 一款监视器软件,在与监视器后端通信的时候使用 |
syslogfacility | 设备信息,数字形式表示 |
syslogfacility-text | 设备信息,文本形式表示 |
syslogseverity | 日志严重性等级,数字形式表示 |
syslogseverity-text | 日志严重性等级,文本形式表示 |
syslogpriority | 同 syslogseverity |
syslogpriority-text | 同 syslogseverity-text |
timegenerated | 高精度时间戳 |
timereported | 日志中的时间戳。精度取决于日志中提供的内容(在大多数情况下,为秒级) |
timestamp | 同 timereported |
protocol-version | IETF draft draft-ietf-syslog-protocol 中的 PROTOCOL-VERSION 字段的内容 |
structured-data | IETF draft draft-ietf-syslog-protocol 中的 STRUCTURED-DATA 字段的内容 |
app-name | IETF draft draft-ietf-syslog-protocol 中的 APP-NAME 字段的内容 |
procid | IETF draft draft-ietf-syslog-protocol 中的 PROCID 字段的内容 |
msgid | IETF draft draft-ietf-syslog-protocol 中的 MSGID 字段的内容 |
inputname | 生成日志的输入模块的名称(如“imuxsock”、“imudp”) |
jsonmesg | 整个日志对象作为json表示。可能出现数据重复,譬如syslogtag包含着programname,但两者都会分别表示。所以这个属性有一些额外开销,建议只有在实际需要的时候再用。 |
Time-Related System Properties
与时间相关的系统属性(以 2020-07-08 16:57:36
为例)
属性 | 释义 |
---|---|
$now | 当前日期时间戳,格式为YYYY-MM-DD (2020-07-08) |
$year | 当前年份, 四位数 (2020) |
$month | 当前月份, 两位数 (07) |
$day | 当前月份的日期,两位数 (08) |
$wday | 当前天数周几 :0=Sunday,...6=Saturday |
$hour | 当前小时(24小时机制),两位数(16) |
$hhour | 半小时机值,就是0-29分钟显示0,30-59分钟显示1。 |
$qhour | 一刻钟机值,通过0-3显示,每15分钟一截。 |
$minute | 当前分钟数,两位数(57) |
通过模板修改日志
vim /etc/rsyslog.conf
# 创建一个名为cky_format的模板,其中 TIMESTAMP:8:15 表示timestamp属性值切片第八位到第十五位。
$template cky_format, "%$NOW% %TIMESTAMP:8:15% %hostname% %syslogseverity-text% %syslogtag% %msg%\n"
$ActionFileDefaultTemplate cky_format
#重启rsyslog
systemctl restart rsyslog
日志格式效果样例
# NOW | timestamp:8:15| hostname| syslogseverity-text | syslogtag | msg
2020-07-09 09:59:54 mycomputer info systemd: Started System Logging Service.
# 时间戳 | 主机名 | 日志等级 | 服务进程 | 日志内容
尚有不足之处,望各位看客斧正,本文后续会逐渐完善。