本文主要讲解:
1、一个日志配置文件如何拆分
2、不同服务的日志如何划分
3、日志如何滚动
4、日志过期策略
5、异步日志
1、日志拆分
日志配置文件拆分,例如以下完整的日志配置文件
<?xml version="1.0" encoding="UTF-8"?> <configuration status="DEBUG"> <properties> <!--日志格式--> <property name="PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} %X{TRACE_ID} [%thread] %-5level %logger[%L] - %m%n"/> <!--日志编码--> <property name="CHARSET" value="utf-8"/> <!--单个日志文件大小--> <property name="MAX_FILE_SIZE" value="200MB"/> <!--日志保存时间--> <property name="MAX_HISTORY" value="P30D"/> <!--日志根路径--> <property name="BASE_LOG_PATH" value="/data/logs"/> <!--日志应用名,例如拼接完整的日志路径:/data/logs/app/app-info.log--> <property name="SERVER_NAME" value="${sys:SERVICE_NAME}"/> </properties> <appenders> <Console name="CONSOLE" target="SYSTEM_OUT"> <PatternLayout pattern="${PATTERN}" charset="${CHARSET}"/> </Console> <RollingRandomAccessFile name="FILE-INFO" fileName="${BASE_LOG_PATH}/${SERVER_NAME}/${SERVER_NAME}-info.log" filePattern="${BASE_LOG_PATH}/${SERVER_NAME}/${SERVER_NAME}-info.%d{yyyy-MM-dd}-%i.log.gz"> <LevelRangeFilter minLevel="WARN" maxLevel="DEBUG" onMatch="ACCEPT" onMismatch="DENY"/> <PatternLayout pattern="${PATTERN}" charset="${CHARSET}"/> <Policies> <!--每天滚动一次--> <TimeBasedTriggeringPolicy interval="1"/> <!--或者日志达到10KB 滚动一次--> <SizeBasedTriggeringPolicy size="10KB"/> </Policies> <!--日志删除策略--> <DefaultRolloverStrategy fileIndex="nomax"> <Delete basePath="${BASE_LOG_PATH}/${SERVER_NAME}" maxDepth="2"> <IfFileName glob="*-info.*.log.gz"/> <IfLastModified age="P1D"/> </Delete> </DefaultRolloverStrategy> </RollingRandomAccessFile> <RollingRandomAccessFile name="FILE-ERROR" fileName="${BASE_LOG_PATH}/${SERVER_NAME}/${SERVER_NAME}-error.log" filePattern="${BASE_LOG_PATH}/${SERVER_NAME}/${SERVER_NAME}-error.%d{yyyy-MM-dd}-%i.log.gz"> <ThresholdFilter level="ERROR" onMatch="ACCEPT" onMismatch="DENY"/> <PatternLayout pattern="${PATTERN}" charset="${CHARSET}"/> <Policies> <!--每天滚动一次--> <TimeBasedTriggeringPolicy interval="1"/> <!--或者日志达到10KB 滚动一次--> <SizeBasedTriggeringPolicy size="10KB"/> </Policies> <!--日志删除策略--> <DefaultRolloverStrategy fileIndex="nomax"> <Delete basePath="${BASE_LOG_PATH}/${SERVER_NAME}" maxDepth="2"> <IfFileName glob="*-error.*.log.gz"/> <IfLastModified age="P1D"/> </Delete> </DefaultRolloverStrategy> </RollingRandomAccessFile> </appenders> <loggers> <AsyncRoot level="DEBUG" includeLocation="true" > <AppenderRef ref="CONSOLE"/> </AsyncRoot> <AsyncLogger name="com.luna" level="INFO" includeLocation="true" > <appender-ref ref="FILE-INFO"/> <appender-ref ref="FILE-ERROR"/> </AsyncLogger> <AsyncLogger name="druid.sql.Statement" level="DEBUG" additivity="false" includeLocation="true" > <appender-ref ref="CONSOLE"/> <appender-ref ref="FILE-INFO"/> </AsyncLogger> </loggers> </configuration>
在单个项目中这个配置文件可以直接使用,但是在聚合项目中,我们不可能在每个项目都写一遍完整的日志配置文件。如果这样做,1,容易写错造成日志格式的不统一、2,假如你更改了日志配置,需要更改多个配置文件容易遗漏
所以我们常规做法是将这些公共的配置抽取出来,然后直接引用即可。log4j2的日志拆分和其它日志拆分基本差不多(logback,log4j),官方文档:http://logging.apache.org/log4j/2.x/manual/configuration.html#XInclude
从官方文档看出,log4j2的拆分,依赖XInclude
新建log4j-xinclude-property.xml,抽取Properties
<?xml version="1.0" encoding="UTF-8"?> <properties> <!--日志格式--> <property name="PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} %X{TRACE_ID} [%thread] %-5level %logger[%L] - %m%n"/> <!--日志编码--> <property name="CHARSET" value="utf-8"/> <!--单个日志文件大小--> <property name="MAX_FILE_SIZE" value="200MB"/> <!--日志保存时间--> <property name="MAX_HISTORY" value="P30D"/> <!--日志根路径--> <property name="BASE_LOG_PATH" value="/data/logs"/> <!--日志应用名,例如/data/logs/app/app-info.log--> <property name="SERVER_NAME" value="${sys:SERVICE_NAME}"/> </properties>
新建log4j-xinclude-appenders.xml,抽取appenders
<?xml version="1.0" encoding="UTF-8"?> <appenders> <Console name="CONSOLE" target="SYSTEM_OUT"> <PatternLayout pattern="${PATTERN}" charset="${CHARSET}"/> </Console> <RollingRandomAccessFile name="FILE-INFO" fileName="${BASE_LOG_PATH}/${SERVER_NAME}/${SERVER_NAME}-info.log" filePattern="${BASE_LOG_PATH}/${SERVER_NAME}/${SERVER_NAME}-info.%d{yyyy-MM-dd}-%i.log.gz"> <LevelRangeFilter minLevel="WARN" maxLevel="DEBUG" onMatch="ACCEPT" onMismatch="DENY"/> <PatternLayout pattern="${PATTERN}" charset="${CHARSET}" /> <Policies> <!--每天滚动一次--> <TimeBasedTriggeringPolicy interval="1"/> <!--或者日志达到10KB 滚动一次--> <SizeBasedTriggeringPolicy size="10KB"/> </Policies> <!--日志删除策略--> <DefaultRolloverStrategy fileIndex="nomax"> <Delete basePath="${BASE_LOG_PATH}/${SERVER_NAME}" maxDepth="2"> <IfFileName glob="*-info.*.log.gz"/> <IfLastModified age="P1D"/> </Delete> </DefaultRolloverStrategy> </RollingRandomAccessFile> <RollingRandomAccessFile name="FILE-ERROR" fileName="${BASE_LOG_PATH}/${SERVER_NAME}/${SERVER_NAME}-error.log" filePattern="${BASE_LOG_PATH}/${SERVER_NAME}/${SERVER_NAME}-error.%d{yyyy-MM-dd}-%i.log.gz"> <ThresholdFilter level="ERROR" onMatch="ACCEPT" onMismatch="DENY"/> <PatternLayout pattern="${PATTERN}" charset="${CHARSET}" /> <Policies> <!--每天滚动一次--> <TimeBasedTriggeringPolicy interval="1"/> <!--或者日志达到10KB 滚动一次--> <SizeBasedTriggeringPolicy size="10KB"/> </Policies> <!--日志删除策略--> <DefaultRolloverStrategy fileIndex="nomax"> <Delete basePath="${BASE_LOG_PATH}/${SERVER_NAME}" maxDepth="2"> <IfFileName glob="*-error.*.log.gz"/> <IfLastModified age="P1D"/> </Delete> </DefaultRolloverStrategy> </RollingRandomAccessFile> </appenders>
新建log4j-xinclude-loggers.xml,抽取loggers
<?xml version="1.0" encoding="UTF-8"?> <loggers> <AsyncRoot level="DEBUG" includeLocation="true" > <AppenderRef ref="CONSOLE"/> </AsyncRoot> <AsyncLogger name="com.luna" level="INFO" includeLocation="true" > <appender-ref ref="FILE-INFO"/> <appender-ref ref="FILE-ERROR"/> </AsyncLogger> <AsyncLogger name="druid.sql.Statement" level="DEBUG" additivity="false" includeLocation="true" > <appender-ref ref="CONSOLE"/> <appender-ref ref="FILE-INFO"/> </AsyncLogger> </loggers>
最后新建log4j2.xml引用即可
<?xml version="1.0" encoding="UTF-8"?> <configuration xmlns:xi="http://www.w3.org/2001/XInclude" status="DEBUG" name="XIncludeDemo"> <!--常量配置--> <xi:include href="log4j-xinclude-property.xml"/> <!--appenders--> <xi:include href="log4j-xinclude-appenders.xml" /> <!--loggers--> <xi:include href="log4j-xinclude-loggers.xml" /> </configuration>
完整的目录结构
2、不同服务的日志如何划分
例如,order(订单系统),goods(商品系统)在同一台服务器上部署,我们希望的日志路径和命名方式是
/data/logs/order/order-info.log
/data/logs/order/order-error.log
/data/logs/goods/goods-info.log
/data/logs/goods/goods-error.log
那也就是动态化服务应用名,如上面Property配置有个SERVER_NAME常量,我这里取自System变量,以此作为服务名。下面的appender使用${SERVER_NAME} 相当于获取了动态服务名
System.setProperty("SERVICE_NAME", "demo");
log4j2提供了多个Lookups来满足类似的功能,http://logging.apache.org/log4j/2.x/manual/lookups.html
可以根据实际的项目需求来选择,也可以自定义属于自己的lookup。
3,4、日志如何滚动,日志过期策略
我们以上面的log4j-xinclude-appenders.xml配置中的FILE-INFO来解释
<!--http://logging.apache.org/log4j/2.x/manual/appenders.html#RollingRandomAccessFileAppender--> <!-- name:FILE-INFO appender 名字可以自定义,logger引用使用 fileName:当前日志名称,如果是多级目录,则会自动创建 filePattern:归档日志格式 --> <RollingRandomAccessFile name="FILE-INFO" fileName="${BASE_LOG_PATH}/${SERVER_NAME}/${SERVER_NAME}-info.log" filePattern="${BASE_LOG_PATH}/${SERVER_NAME}/${SERVER_NAME}-info.%d{yyyy-MM-dd}-%i.log.gz"> <!-- minLevel:最小日志级别 maxLevel:最大日志级别 onMatch:匹配成功接收 onMismatch:匹配失败丢弃 --> <LevelRangeFilter minLevel="WARN" maxLevel="DEBUG" onMatch="ACCEPT" onMismatch="DENY"/> <!-- pattern:日志格式 charset:日志字符编码 --> <PatternLayout pattern="${PATTERN}" charset="${CHARSET}" /> <Policies> <!--每天滚动一次,interval的单位 取决于filePattern 我这里定义的是dd(天)也就是每天会产生一个新的日志文件 --> <TimeBasedTriggeringPolicy interval="1"/> <!--或者日志文件达到10KB 滚动一次--> <SizeBasedTriggeringPolicy size="10KB"/> </Policies> <!--日志删除策略--> <!--DefaultRolloverStrategy 默认的max=7 代表的是dd(天)最多产生7个文件,多余自动删除,但是我们会自己定义删除策略所以要屏蔽这个配置,如果不屏蔽这个配置,则当天日志最多只有7个 --> <!--源码:org.apache.logging.log4j.core.appender.rolling.DefaultRolloverStrategy.Builder.build ,当fileIndex=nomax,不在使用max变量 --> <DefaultRolloverStrategy fileIndex="nomax"> <!--basePath:从此处扫描需要删除的日志基本路径,maxDepth:要访问的日志目录最大级别数,默认是1 --> <!--例如我们的日志是/data/logs/app/app-info.log,basePath=/data/logs,maxDepth=2 恰好能访问到app-info.log --> <Delete basePath="${BASE_LOG_PATH}/${SERVER_NAME}" maxDepth="2"> <!--删除,正则匹配到文件名--> <IfFileName glob="*-info.*.log.gz"/> <!--删除,日志距离现在多长事件,P1D代表是1天--> <!--http://logging.apache.org/log4j/2.x/log4j-core/apidocs/org/apache/logging/log4j/core/appender/rolling/action/Duration.html--> <IfLastModified age="P1D"/> </Delete> </DefaultRolloverStrategy> </RollingRandomAccessFile>
log4j2提供多种Appender,http://logging.apache.org/log4j/2.x/manual/appenders.html# ,因为我们是输入到文件里,所以这里讲RollingRandomAccessFile ,为什么选择RollingRandomAccessFile 呢?官方的描述是:http://logging.apache.org/log4j/2.x/manual/appenders.html#RollingRandomAccessFileAppender
大致意思是,RollingRandomAccessFileAppender和RollingFileAppender 相似,但是它内部是基于ByteBuffer + RandomAccessFile,所以这个性能提高了20-200%,不支持文件锁定,可以自定义文件删除操作等骚操作。
5、异步日志
主要配置在loggers
log4j2的异步日志需要借助LMAX Disruptor 官方文档:
http://logging.apache.org/log4j/2.x/manual/async.html#
<loggers> <!--includeLocation 打印行号,如果这里不设置,就算%L 也不会打印行号--> <AsyncRoot level="DEBUG" includeLocation="true" > <AppenderRef ref="CONSOLE"/> </AsyncRoot> <AsyncLogger name="com.luna" level="INFO" includeLocation="true" > <appender-ref ref="FILE-INFO"/> <appender-ref ref="FILE-ERROR"/> </AsyncLogger> <AsyncLogger name="druid.sql.Statement" level="DEBUG" additivity="false" includeLocation="true" > <appender-ref ref="CONSOLE"/> <appender-ref ref="FILE-INFO"/> </AsyncLogger> </loggers>
关于异步日志性能,按照官方文档的说法log4j2是目前最强的!http://logging.apache.org/log4j/2.x/manual/async.html#AllAsync
参考文献:
1、http://logging.apache.org/log4j/2.x/
2、https://www.ralphgoers.com/post/getting-the-most-out-of-the-log4j-2-api
全文完,感谢您的耐心阅读~
欢迎大家关注我的公众号