log4j学习(二) 高并发logback

    logback中常用的appender有ch.qos.logback.core.ConsoleAppender和ch.qos.logback.core.rolling.RollingFileAppender两种,前者作为控制台输出在生产环境中可关闭。后者滚动文件输出,作为磁盘IO来说,在高并发场景下必然容易作为瓶颈,所幸,logback提供了AsyncAppender异步输出方式来提高性能。

   实现异步有很多方式,Logback用的是队列+多线程,类似用队列实现了生产者消费者模式。使用方法是只需要在logback.xml配置一下就好:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<!-- %m输出的信息,%p日志级别,%t线程名,%d日期,%c类的全名,%i索引【从数字0开始递增】,,, --> <!-- appender是configuration的子节点,是负责写日志的组件。 --> <!-- ConsoleAppender:把日志输出到控制台 --> <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <encoder> <pattern>[ %-5level] [%date{yyyy-MM-dd HH:mm:ss}] %logger{96} [%line] - %msg%n</pattern> <charset>UTF-8</charset> </encoder> </appender> <!-- RollingFileAppender:滚动记录文件,先将日志记录到指定文件,当符合某个条件时,将日志记录到其他文件 --> <appender name="syslog" class="ch.qos.logback.core.rolling.RollingFileAppender"> <!-- <File>logs/log.log</File> --> <!-- rollingPolicy:当发生滚动时,决定 RollingFileAppender 的行为,涉及文件移动和重命名。 --> <!-- TimeBasedRollingPolicy: 最常用的滚动策略,它根据时间来制定滚动策略,既负责滚动也负责出发滚动 --> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <!-- 活动文件的名字会根据fileNamePattern的值,每隔一段时间改变一次 --> <!-- 文件名:log/sys.2017-12-05.0.log --> <fileNamePattern>logs/log-%d{yyyy-MM-dd}.%i.log</fileNamePattern> <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP"> <maxFileSize>60MB</maxFileSize> </timeBasedFileNamingAndTriggeringPolicy> </rollingPolicy> <encoder> <!-- pattern节点,用来设置日志的输入格式 --> <pattern> [ %-5level] [%date{yyyy-MM-dd HH:mm:ss}] %logger{96} [%line] - %msg%n </pattern> <!-- 记录日志的编码 --> <charset>UTF-8</charset> </encoder> </appender>

     <appender name="ASYNC_ROLLING_FILE" class="ch.qos.logback.classic.AsyncAppender">
        <queueSize>256</queueSize> <!-- 队列长度,默认256-->

      <includeCallerData>true</includeCallerData>

         <appender-ref ref="syslog"/>
     </appender>

    <!-- 控制台输出日志级别 -->
    <root level="INFO">
        <!-- <appender-ref ref="STDOUT"/> -->
        <appender-ref ref="ASYNC_ROLLING_FILE"/>
    </root>
</configuration>

需要注意的是,为了保证性能,AsyncAppender会在队列长度达到80%的时候丢弃error以外的正常日志,而随意加大队列长度进行缓冲又会影响性能和加大日志的延迟,所以这个又是一个需要根据实际情况而具体问题具体分析的指标。

属性名

类型

默认值

描述

queueSize

int

256

内置BlockingQueue的最大容量

discardingThreshold

int

-1

默认情况下,当blockingQueue的容量高于阈值时(80%),会丢弃ERROR以下级别的日志,如果不希望丢弃日志(既每次都是全量保存),那可以设置为0,但是如果队列满的时候,会丢弃所有插入队列的日志信息,所以建议设置为-1(默认值)。 如正常日志可以丢弃,那可以极大的提升性能,并保存关键的ERROR日志。

 

includeCallerData

boolean

false

提取调用者数据的代价是相当昂贵的。为了提升性能,默认情况下,当event被加入到queue时,event关联的调用者数据不会被提取。默认情况下,只有"cheap"的数据,如线程名。比如日志中的代码行号如果需要输出则应将该值设为true。实测includeCallerData=true会带来一定性能下降,但高并发下仍远比同步日志方式的tps要高。

经实测,在我的window系统笔记本,1000并发压测同样的springboot框架,AsyncAppender可带来300tps到2000tps的提升。 而在linux服务器下测试结果对比更加明显,2000并发下的600tps一跃至14000tps !

<includeCallerData>true</includeCallerData>

posted on 2019-07-13 12:34  肥兔子爱豆畜子  阅读(2006)  评论(0编辑  收藏  举报

导航