升级springboot导致的业务异步回调积压问题定位
1. 起因
A与B云侧模块特性联调的过程中，端侧发现云侧返回有延迟的情况。
7月19日与A模块一起抓包初步判断，B业务有积压的情况。
7月18日已经转侧B业务现网版本，由于使用一套逻辑。故可能存在请求积压的问题。（严重）
2. 定位过程
2.1 复现问题
15路压测大屏发现请求有将近十多秒的时延，对于B业务实时性要求极高的业务，这无疑是灾难性的。
由于B业务最近针对业务并没有修改关键代码，只对springboot等相关第三方包做了升级。对比升级前后日志发现一个线程的名称发生了变化
升级前：
升级后：
因为B业务的上传接口采用的是异步回调机制。
升级之前，当springmvc内部有异步回调的时候，每次都会创建线程去处理回调逻辑，即没有线程池的概念，每次都是创建新的线程。线程命名规则是：MvcAsync[xx]
[xx]标示数值，比如MvcAsync1，MvcAsync9，MvcAsync10...
升级之后发现线程名字变成了task-[xx], xx标示数值，似乎只是名称改了，且在长期运行日志中发现task-[xx]也是大体递增趋势。
2.2 找异常点
后来为了复现问题，我们采用了15路压测，利用Java VisualVM观察CPU，内存，进程等。CPU和内存都ok，但是发现了很奇怪的现象：在压测的时候，为什么task-[xx]不递增，而且只维持8个线程，而我们15路并发，自然是处理不了。
难道task-[xx]是线程池里面的线程？且业务明显很“忙”，为什么不继续创建线程？难道内部真的改成线程池，并且对线程数量做了最多8个线程的限制？
后来我做了单次调用的测试，发现，task-[xx]同一时刻最多有8个线程同时运行，如果一直运行的话，就会复用线程，与之前的每次都创建新的线程完全不同，而且只运行一次的线程的存活时间是大约60秒，这不是keepalive的特性吗？
通过分析可以基本判断异步回调已经不是每次都创建新的线程，而是可能内部有线程池？
这些都是分析和猜测，并没有直接的证据说明，而且我们是需要最终去修改问题，如果只是大体猜出问题在哪？但是却不知道如何修改，也是没有办法的。
2.3 确认问题及解决方案
没办法，只能撸代码。
对于springboot我们基本都是当黑盒使用的，代码确实看了大概，但是要完全靠走读代码很难确定问题(面向接口编程一般很难确定具体运行类)，所以我们采用了单步调试。撸代码基本可以确定问题对应的代码范围，方便我们调试代码。
为了方便调试，我写了一个简单的demo（个人觉得这个很重要，最好的方式肯定直接利用业务代码调试，但是有的时候我们的业务很庞大或者调试条件比较苛刻）
@RequestMapping("/webAsyncTask")
public WebAsyncTask<String> webAsyncTask() {
System.out.println("外部线程：" + Thread.currentThread().getName());
WebAsyncTask<String> result = new WebAsyncTask<>(6000000L, new Callable<String>() {
@Override
public String call()
throws Exception {
System.out.println("内部线程：" + Thread.currentThread().getName());
return "web async task";
}
});
result.onTimeout(new Callable<String>() {
@Override
public String call()
throws Exception {
return "timeout";
}
});
result.onCompletion(new Runnable() {
@Override
public void run() {
System.out.println("finish");
}
});
return result;
}
通过走读代码，确定在spring-web-x.x.x.RELEASE.jar包里面的类
org.springframework.web.context.request.async.WebAsyncManager
其中的AsyncTaskExecutor taskExecutort保存异步调度线程的创建方式。
private AsyncTaskExecutor taskExecutor = new SimpleAsyncTaskExecutor(this.getClass().getSimpleName());
默认赋值SimpleAsyncTaskExecutor，这个对象就是每次都创建新的线程去执行异步回调。
我们分别使用springboot-1.5.14.RELEASE和springboot-2.1.3.RELEASE调试代码，对于调试的断点也很重要，到底把断点加在什么地方呢？针对我们的这个问题，加在业务代码里面肯定是看不出问题。有个方法可以大体判断地方，通过线程调用堆栈，如下图（可放大，下同）：
断点基本可以确定在WebAsyncManager.startCallProcessing()方法里面
springboot-1.5.14.RELEASE调试截图：taskExecutor就是SimpleAsyncTaskExecutor实例
springboot- 2.1.3.RELEASE调试截图：taskExecutor就是org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor实例，并且是一个线程池corePoolSize=8,keepalive=60sec,maxPoolSize= 2147483647,queueCapacity=2147483647
这些默认值肯定是不合理的。
补充：
（1）corePoolSize: 线程池中的核心线程数，当提交一个任务时，线程池创建一个新线程执行任务，直到当前线程数等于corePoolSize；如果当前线程数为corePoolSize，继续提交的任务被保存到阻塞队列中，等待被执行；
(针对该问题由于队列很大，任务一直在排队，导致新的线程创建不了，而且一直是8个)
（2）maximumPoolSize: 线程池中允许的最大线程数。如果阻塞队列满了，且继续提交任务，则创建新的线程执行任务，前提是当前线程数小于maximumPoolSize
（3）keepAliveTime: 线程空闲的存活时间，即当线程没有任务执行时，继续存活的时间，默认情况下，该参数只在线程数大于corePoolSize时才有用。
（4）workQueue: 必须是BlockingQueue阻塞队列，当线程池中的线程数超过它的corePoolSize的时候，线程会进入阻塞队列进行阻塞等待。
至此才能确定问题是由于springboot升级底层改变了异步回调线程的管理方式。
解决方案，其实我在都读代码的时候已经发现了：即继承WebMvcConfigureationSupport重载方法configureAsyncSupport设置异步回调的线程池或还是采用SimpleAsyncTaskExecutor
@Override
public void configureAsyncSupport(final AsyncSupportConfigurer configurer) {
configurer.setTaskExecutor(threadPoolTaskExecutor());
}
3. 总结
线程池的设置一直都是很重要的问题，而且大多数框架提供的默认线程池针对具体业务基本都是不合理的，顺便吐槽一下，springboot对task-[xx]的命名，没有体现线程池，应该起一个更具功能和意义的名字，比如async-threadpool-2-thread-[xx]
