springboot内嵌tomcat日志配置及优化
在tomcat的access中打印出请求的情况可以帮助我们分析问题,通常比较关注的有访问IP、线程号、访问url、返回状态码、访问时间、持续时间。
tomcat主要涉及到两类日志配置:
- access log
- tomcat log
access log捕捉http请求
tomcat log打印启动全过程
参考的国外的博客,直接贴下测试代码:
@RestController public class HelloController { @GetMapping("/greetings/{username}") public String getGreetings(@PathVariable("username") String userName) { return "Hello " + userName + ", Good day...!!!"; } }
2.配置access log
server: port: 9000 servlet: context-path: / # 配置access日志 tomcat: accesslog: enabled: true file-date-format: .yyyy-MM-dd suffix: .log prefix: access_log directory: tomcat_log pattern: common basedir: d:/tmp
配置好后启动项目,浏览器访问:
http://localhost:9000/greetings/tom
查看磁盘上的日志文件d:/tmp/tomcat_log/access_log.2020-06-13.log
accesslog参数解释:
省略了前缀server.tomcat.accesslog
enabled,取值true、false,需要accesslog时设置为true
directory,指定access文件的路径
rotate,指定是否启用日志轮转。默认为true。这个参数决定是否需要切换切换日志文件,如果被设置为false,则日志文件不会切换,即所有文件打到同一个日志文件中,并且file-date-format参数也会被忽略
pattern,定义日志的格式,
pattern的配置:
%a - 远程IP地址
%A - 本地IP地址
%b - 发送的字节数(Bytes sent), 不包括HTTP headers的字节,如果为0则展示'-'
%B - 发送的字节数(Bytes sent), 不包括HTTP headers的字节
%h - 远程主机名称(如果resolveHosts为false则展示IP)
%H - 请求协议
%l - 远程用户名,始终为'-'(Remote logical username from identd)
%m - 请求的方法(GET, POST等)%p - 接受请求的本地端口
%q - 查询字符串,如果存在,有一个前置的'?'
%r - 请求的第一行(包括请求方法和请求的URI)
%s - response的HTTP状态码(200,404等)%S - 用户的session ID
%t - 日期和时间,Common Log Format格式
%u - 被认证的远程用户, 不存在则展示'-'
%U - 请求URL路径%v - 本地服务名
%D - 处理请求的时间,单位为毫秒
%T - 处理请求的时间,单位为秒%I - 当前请求的线程名(can compare later with stacktraces)
pattern可以设置为指定的模板名称,具体含有如下:
-
common -
%h %l %u %t "%r" %s %b
,依次为:远程主机名称,远程用户名,被认证的远程用户,日期和时间,请求的第一行,response code,发送的字节数 -
combined -
%h %l %u %t "%r" %s %b "%{Referer}i" "%{User-Agent}i"
,依次为:远程主机名称,远程用户名,被认证的远程用户,日期和时间,请求的第一行,response code,发送的字节数,request header的Referer信息,request header的User-Agent信息。
Access Log中也支持cookie,请求header,响应headers,Session或者其他在ServletRequest中的对象的信息。格式遵循apache语法:
%{xxx}i 请求headers的信息
%{xxx}o 响应headers的信息
%{xxx}c 请求cookie的信息
%{xxx}r xxx是ServletRequest的一个属性
%{xxx}s xxx是HttpSession的一个属性
说明:combined模式的pattern可以增加Referer和User-Agent headers的参数形式,每个参数用双引号包起来,引号中的内容还是上面列举的参数。比如"%{User-Agent}i"使其为”%{User-Agent}i“,即请求的User-Agent(客户端,浏览器)。
3.配置tomcat log
# 配置tomcat日志
logging:
level:
org.apache.tomcat: DEBUG
org.apache.catalina: DEBUG
启动项目观察日志,发现打印了一堆DEBUG信息:
4.实时查看tomcat线程数
linux系统
获取tomcat进程pid ps -ef|grep tomcat 统计该tomcat进程内的线程个数 ps -Lf 29295 |wc -l
windows系统
其中8080为tomcat默认端口,如果端口有修改,可使用修改后的端口
pstree -p 后面为进程id。
netstat -ano|findstr 8080
pstree -p 5240 | wc -l
5.Springboot内置Tomcat配置调优
针对目前的容器优化,可以从以下几点考虑:
1、线程数 2、超时时间 3、JVM优化
首先,线程数是一个重点,每一次HTTP请求到达Web服务器,Web服务器都会创建一个线程来处理该请求,该参数决定了应用服务同时可以处理多少个HTTP请求。
比较重要的有两个:初始线程数和最大线程数。
初始线程数:保障启动的时候,如果有大量用户访问,能够很稳定的接受请求。最大线程数:用来保证系统的稳定性。
超时时间:用来保障连接数不容易被压垮。如果大批量的请求过来,延迟比较高,很容易把线程数用光,这时就需要提高超时时间。这种情况在生产中是比较常见的 ,一旦网络不稳定,宁愿丢包也不能把服务器压垮。
min-spare-threads:最小备用线程数,tomcat启动时的初始化的线程数。
max-threads:Tomcat可创建的最大的线程数,每一个线程处理一个请求,超过这个请求数后,客户端请求只能排队,等有线程释放才能处理。(建议这个配置数可以在服务器CUP核心数的200~250倍之间)
accept-count:当调用Web服务的HTTP请求数达到tomcat的最大线程数时,还有新的HTTP请求到来,这时tomcat会将该请求放在等待队列中,这个acceptCount就是指能够接受的最大等待数,默认100。如果等待队列也被放满了,这个时候再来新的请求就会被tomcat拒绝(connection refused)。
max-connections:这个参数是指在同一时间,tomcat能够接受的最大连接数。一般这个值要大于(max-threads)+(accept-count)。
connection-timeout:最长等待时间,如果没有数据进来,等待一段时间后断开连接,释放线程。
在spring boot配置文件中application.yml,添加以下配置:
这块对tomcat进行了一个优化配置,最大线程数是2500,初始化线程是500,超时时间是12000ms;
# Tomcat server: tomcat: uri-encoding: UTF-8 #最小线程数 min-spare-threads: 500 #最大线程数 max-threads: 2500 #最大链接数 max-connections: 6500 #最大等待队列长度 accept-count: 1000 #请求头最大长度kb max-http-header-size: 1048576 #请请求体最大长度kb #max-http-post-size: 2097152 #服务http端口 port: 8080 #链接建立超时时间 connection-timeout: 12000
JVM优化一般来说没有太多场景,无非就是加大初始的堆,和最大限制堆,当然也不能无限增大,要根据实际情况优化。
初始内存和最大内存基本会设置成一样的,具体大小根据场景设置,-server是一个必须要用的参数,至于收集器这些使用默认的就可以了,除非有特定需求。
1.使用-server模式:设置JVM使用server模式。64位JDK默认启动该模式。
2.指定堆参数:这个根据服务器的内存大小,来设置堆参数。
-Xms :设置Java堆栈的初始化大小
-Xmx :设置最大的java堆大小
设置初始化堆内存为10240MB,最大为14336MB。
nohup $JAVA_HOME/bin/java -server -Xms10240m -Xmx14336m -Xmn9216m -XX:MetaspaceSize=400m -XX:MaxMetaspaceSize=5120m -XX:-OmitStackTraceInFastThrow -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintHeapAtGC -Xloggc:./custom_gc.log -XX:ErrorFile=./custom_error.log -jar $APP_HOME/$APP_MAINCLASS >> $LOG_FILE 2>&1 &