SpringBoot中统一日志管理
Springboot中统一日志管理
一般分为两个大类:操作日志和系统日志
**操作日志:**用户在操作软件时记录下来的操作步骤,便于用户自己查看。主要针对的是用户。
**系统日志:**系统日志是记录系统中硬件、软件和系统问题的信息,同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因,或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。主要针对的是软件开发人员(包括测试、维护人员)。
日志的作用:
日志是系统运行的“照妖镜”,通过它能够实时反映系统的运行状态;
良好的日志便于后期运维和开发人员迅速定位线上问题,加快止损速度,减少系统故障带来的损失;
日志能够无缝与监控系统结合,通过监控系统进行日志采集,拿到系统运行的相关性能指标,有利于分析系统的性能瓶颈、提前规避风险;
便于统计与业务相关的指标数据,进行相关业务分析和功能优化.
使用日志级别的好处在于,调整级别,就可以屏蔽掉很多调试相关的日志输出。不同的日志框架定义的日志级别不太一样,不过也都大同小异。
ALL 最低等级的,用于打开所有日志记录。
TRACE 很低的日志级别,一般不会使用。
DEBUG 指出细粒度信息事件对调试应用程序是非常有帮助的,主要用于开发过程中打印一些运行信息。比如函数里的输入输出。
INFO 消息在粗粒度级别上突出强调应用程序的运行过程。打印一些你感兴趣的或者重要的信息,这个可以用于生产环境中输出程序运行的一些重要信息,但是不能滥用,避免打印过多的日志。
WARN 表明会出现潜在错误的情形,有些信息不是错误信息,但是也要给程序员的一些提示。
ERROR 指出虽然发生错误事件,但仍然不影响系统的继续运行。打印错误和异常信息,如果不想输出太多的日志,可以使用这个级别。
FATAL 指出每个严重的错误事件将会导致应用程序的退出。这个级别比较高了。重大错误,这种级别你可以直接停止程序了。
OFF 最高等级的,用于关闭所有日志记录。
如果将log level设置在某一个级别上,在你的系统中如果开启了某一级别的日志后,就不会打印比它级别低的日志,只打印比此级别优先级高的log。例如,如果设置优先级为WARN,那么OFF、FATAL、ERROR、WARN 4个级别的log能正常输出,而INFO、DEBUG、TRACE、 ALL级别的log则会被忽略。Log4j建议只使用四个级别,优先级从高到低分别是ERROR、WARN、INFO、DEBUG。
我们之前讲Mybatis时也打印过日志,比如打印一下sql,但现在看来只是打印Sql是不够的,那么我们应该在哪些地方打印,打印哪些东西,打印什么级别的呢?
1、调用第三方接口时会打印日志,比如具体的Request和Response
2、状态变化
3、重要方法的输入和输出
4、业务异常
5、非预期执行(比如删除一条数据,可能成功可能数据本身不存在)
6、很少出现的else情况
7、程序运行时间
8、大批量数据的执行进度
打印的内容一定要从实际出发。也就是说如果在实际的生产环境中,你的用户量很大,日志在不停地刷新,如何定位某个用户的整个登录以及后续的操作呢?当然就是根据用户名来跟踪。所以打印内容的第一要素就是要能便于定位;定位过后也许用户在好几个模板中进行操作,还是定位,这个时候定的是模块的位;还有一点当然就是用户操作时的具体参数;最后一点就是用户干了什么。
总结就是,[id, module, params, content](关键字,模块,参数,内容)。
比如:
log.error("{}|ReqId={}|ID={}|业务执行异常|参数={}|e={}",EVENT_NAME, ReqId, ID, param, e.toString(), e);
log.debug("开始获取员工[{}] [{}]年基本薪资",employee,year);
影响到程序正常运行、当前请求正常运行的异常情况:
- 打开配置文件失败
- 所有第三方对接的异常(包括第三方返回错误码)
- 所有影响功能使用的异常,包括:SQLException和除了业务异常之外的所有异常(RuntimeException和Exception)
如果进行了抛出异常操作,请不要记录error日志,由异常最终处理方进行处理,比如:
try{
....
}catch(Exception ex){
logger.error(....); //不要在这里加error日志 ,应该在处理这个异常的类中加
throw new UserServiceException(errorMessage,ex);
}
不应该出现但是不影响程序、当前请求正常运行的异常情况:
-
有容错机制的时候出现的错误情况
-
找不到配置文件,但是系统能自动创建配置文件
-
即将接近临界值的时候,例如:缓存池占用达到警告线,业务异常的记录等
系统运行信息和调用第三方接口信息
- Service方法中对于系统/业务状态的变更
- 主要逻辑中的分步骤
- 客户端请求参数(REST/WS)
- 调用第三方时的调用参数和调用结果
- 可以填写所有的想知道的相关信息(但不代表可以随便写,debug信息要有意义,最好有相关参数)
- 生产环境需要关闭DEBUG信息
- 如果在生产情况下需要开启DEBUG,需要使用开关进行管理,不能一直开启。
Java 中的日志框架主要分为两大类:日志门面和日志实现。
日志门面
日志门面定义了一组日志的接口规范,它并不提供底层具体的实现逻辑。Apache Commons Logging 和 Slf4j 就属于这一类。
日志实现
日志实现则是日志具体的实现,包括日志级别控制、日志打印格式、日志输出形式(输出到数据库、输出到文件、输出到控制台等)。Log4j、Log4j2、Logback 以及 Java Util Logging 则属于这一类。
如图所示:
我们使用的时候一般是 ,一个"门面"搭配一个实现层使用。
比如:Slf4j +Log4j
Slf4j +Logback 。
spring boot默认使用slf4j+logback
作为日志框架。
在 Spring Boot 项目中,只要添加了 web 依赖,日志依赖就自动添加进来了:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
并且可以在需要的位置通过下面方式来打印日志:
private static final Logger log = LoggerFactory.getLogger(UserController.class);
默认日志是输出在控制台的
如果无需复杂的日志配置,执行简单设置日志打印级别,打印方式可直接再 application.properties中配置。
#root表示整个项目
logging.level.root=info
#表示web层
logging.level.org.springframework.web=debug
#表示持久层
logging.level.org.hibernate=error
#表示具体某个包
logging.level.com.test.util=debug
#输出在根目录下的daimenglaoshi.log
logging.file.name=daimenglaoshi.log
#输出在根目录下aaa文件夹下的daimenglaoshi.log
logging.file.name=aaa/daimenglaoshi.log
#日志归档的文件名,日志文件达到一定大小之后,自动进行压缩归档。
logging.logback.rollingpolicy.file-name-pattern:
#是否在应用启动时进行归档管理。
logging.logback.rollingpolicy.clean-history-on-start:
#日志文件设置上限,达到该上限后,会自动压缩
logging.logback.rollingpolicy.max-file-size:
#日志文件被删除之前,可以容纳的最大大小。
logging.logback.rollingpolicy.total-size-cap:
#日志文件保存的天数。
logging.logback.rollingpolicy.max-history:
但这些配置在Logback 配置文件中配置更方便
在 application.properties 中只能实现对日志一些非常简单的配置,如果想实现更加细粒度的日志配置,那就需要使用日志实现的原生配置,例如 Logback 的 classpath:logback.xml,Log4j 的 classpath:log4j.xml 等。
使用 xml 后要将 application.properties 中的配置去掉,避免冲突.
根据不同的日志系统,按照指定的规则组织配置文件名,并放在 resources 目录下,就能自动被 spring boot 加载:
Logback:logback-spring.xml, logback-spring.groovy, logback.xml, logback.groovy
Log4j: log4j-spring.properties, log4j-spring.xml, log4j.properties, log4j.xml
Log4j2: log4j2-spring.xml, log4j2.xml
JDK (Java Util Logging): logging.properties
想要自定义文件名的可配置:logging.config
指定配置文件名:
logging.config=classpath:logging-config.xml
根节点<configuration>
有 5 个子节点,下面来进行一一介绍。
root 节点是必选节点,用来指定最基础的日志输出级别,只有一个 level 属性,用于设置打印级别,可选如下:TRACE
,DEBUG
,INFO
,WARN
,ERROR
,ALL
,OFF
。
root 节点可以包含 0 个或多个元素,将appender
添加进来。如下:
<root level="debug">
<appender-ref ref="console" />
<appender-ref ref="file" />
</root>
appender 也是子节点之一,将会在后面说明。
设置上下文名称,默认为default
,可通过%contextName
来打印上下文名称,一般不使用此属性。
用于定义变量,方便使用。有两个属性:name,value。定义变量后,可以使用${}
来使用变量。如下:
<property name="path" value="./log"/>
<property name="appname" value="app"/>
appender 用来格式化日志输出的节点,这个最重要。有两个属性:
- name:该 appender 命名
- class:指定输出策略,通常有两种:控制台输出,文件输出
下面通过例子来说明这个怎么用:
- 输出到控制台/按时间输出日志
<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
<!--设置存储路径变量-->
<property name="LOG_HOME" value="./aaa"/>
<!--控制台输出appender-->
<appender name="console" class="ch.qos.logback.core.ConsoleAppender">
<!--设置输出格式-->
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<!--格式化输出:%d表示日期,%thread表示线程名,%-5level:级别从左显示5个字符宽度 %msg:日志消息,%n是换行符-->
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
<!--设置编码-->
<charset>UTF-8</charset>
</encoder>
</appender>
<!--文件输出,时间窗口滚动-->
<appender name="timeFileOutput" class="ch.qos.logback.core.rolling.RollingFileAppender">
<!--日志名,指定最新的文件名,其他文件名使用FileNamePattern -->
<File>${LOG_HOME}/daimenglaoshi.log</File>
<!--文件滚动模式-->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!--日志文件输出的文件名,可设置文件类型为gz,开启文件压缩-->
<FileNamePattern>${LOG_HOME}/info.%d{yyyy-MM-dd}.%i.log.gz</FileNamePattern>
<!--日志文件保留天数-->
<MaxHistory>30</MaxHistory>
<!--按大小分割同一天的-->
<timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
<maxFileSize>10MB</maxFileSize>
</timeBasedFileNamingAndTriggeringPolicy>
</rollingPolicy>
<!--输出格式-->
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<!--格式化输出:%d表示日期,%thread表示线程名,%-5level:级别从左显示5个字符宽度%msg:日志消息,%n是换行符-->
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
<!--设置编码-->
<charset>UTF-8</charset>
</encoder>
</appender>
<!--指定基础的日志输出级别-->
<root level="INFO">
<!--appender将会添加到这个loger-->
<appender-ref ref="console"/>
<appender-ref ref="timeFileOutput"/>
</root>
</configuration>
- 设置只输出单个级别
在 appender 中设置,filter 子节点,在默认级别上再此过滤,配置 onMatch,onMismatch 可实现只输出单个级别
<appender ...>
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>INFO</level>
<!--接受匹配-->
<onMatch>ACCEPT</onMatch>
<!--拒绝不匹配的-->
<onMismatch>DENY</onMismatch>
</filter>
</appender>
此节点用来设置一个包或具体的某一个类的日志打印级别、以及指定<appender>
,有以下三个属性:
- name: 必须。用来指定受此 loger 约束的某个包或者某个具体的类
- level:可选。设置打印级别。默认为 root 的级别。
- addtivity: 可选。是否向上级 loger(也就是 root 节点)传递打印信息。默认为 true。
使用示例如下:
- 不指定级别,不指定 appender
<!-- 控制com.example.service下类的打印,使用root的level和appender -->
<logger name="com.test.service"/>
2.指定级别,不指定 appender
<!-- 控制com.example.service下类的打印,使用root的appender打印warn级别日志 -->
<logger name="com.test.service" level="WARN"/>
3.指定级别,指定 appender
<!-- 控制com.example.service下类的打印,使用console打印warn级别日志 -->
<!-- 设置addtivity是因为这里已经指定了appender,如果再向上传递就会被root下的appender再次打印 -->
<logger name="com.test.service" level="WARN" addtivity="false">
<appender-ref ref="console">
</logger>
通过指定 appender 就能将指定的包下的日志打印到指定的文件中。
通过设置文件名为-spring 结尾,可分环境配置 logger,示例如下:
<configuration>
<!-- 测试环境+开发环境. 多个使用逗号隔开. -->
<springProfile name="test,dev">
<logger name="com.example.demo.controller" level="DEBUG" additivity="false">
<appender-ref ref="console"/>
</logger>
</springProfile>
<!-- 生产环境. -->
<springProfile name="prod">
<logger name="com.example.demo" level="INFO" additivity="false">
<appender-ref ref="timeFileOutput"/>
</logger>
</springProfile>
</configuration>