高并发面试:线程池的七大参数?手写一个线程池?
线程池
1. Callable接口的使用
两者区别:
- Callable:有返回值,抛异常
- Runnable:无返回值,不抛出异常
2. 为什么要使用线程池
-
线程池做的工作主要是控制运行的线程的数量,处理过程中将任务放入队列,然后在线程创建后启动给这些任务,如果线程数量超过了最大数量,超出数量的线程排队等候,等其他线程执行完毕,再从队列中取出任务来执行
-
主要特点
线程复用、控制最大并发数、管理线程
- 减少创建和销毁线程上所花的时间以及系统资源的开销 => 减少内存开销,创建线程占用内存,创建线程需要时间,会延迟处理的请求;降低资源消耗,通过重复利用已创建的线程降低线程创建和销毁造成的消耗
- 提高响应速度。当任务到达时,任务可以不需要等到线程创建就能立即执行
- 提高线程的客观理性。线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,调优和监控(根据系统承受能力,达到运行的最佳效果) => 避免无限创建线程引起的
OutOfMemoryError
【简称OOM】
3. 线程池如何使用?
-
架构说明
Java中的线程池是通过Executor框架实现的,该框架中用到了 :
Executor,Executors,ExecutorService,ThreadPoolExecutor
-
编码实现
实现有五种,
Executors.newScheduledThreadPool()
是带时间调度的,java8新推出Executors.newWorkStealingPool(int)
,使用目前机器上可用的处理器作为他的并行级别重点有三种
-
Executors.newFixedThreadPool(int)
执行长期的任务,性能好很多
创建一个定长线程池,可控制线程最大并发数,超出的线程回在队列中等待newFixedThreadPool创建的线程池corePoolSize和maximumPoolSize值是相等的,它使用的是 LinkedBlockingQueue
底层源码:
-
Executors.newSingleThreadExecutor()
一个任务一个任务执行的场景
创建一个单线程话的线程池,他只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序执行
newSingleThreadExecutor将corePoolSize和maximumPoolSize都设置为1,使用LinkedBlockingQueue
源码:
-
Executors.newCachedThreadPool()
执行很多短期异步的小程序或负载较轻的服务器
创建一个可缓存线程池,如果线程池长度超过处理需要,可灵活回收空闲县城,若无可回收,则新建线程
newCachedThreadPool将corePoolSize设置为0,将maximumPoolSize设置为Integer.MAX_VALUE,使用 的SynchronousQueue,也就是说来了任务就创建线程运行,当县城空闲超过60s,就销毁线程
源码:
我们可以看到底层的代码都是由ThreadPoolExecutor这个类的构造方法创建的,只是传入的参数不同,那么研究一下这个类以及这些参数就很有必要,下节我们将介绍这些参数的使用
-
-
ThreadPoolExecutor
4. 线程池的几个重要参数
核心执行代码为:
那么我们再点进this方法可以看到其全参数的构造方法为:
简单介绍一下:
-
corePoolSize: 线程池中常驻核心线程数
- 在创建了线程池后,当有请求任务来之后,就会安排池中的线程去执行请求任务
- 当线程池的线程数达到corePoolSize后,就会把到达的任务放到缓存队列当中
-
maximumPoolSize: 线程池能够容纳同时执行的最大线程数,必须大于等于1
-
keepAliveTime: 多余的空闲线程的存活时间
- 当前线程池数量超过corePoolSize时,档口空闲时间达到keepAliveTime值时,多余空闲线程会被销毁到只剩下corePoolSize个线程为止
-
unit: keepAliveTime的单位
-
workQueue: 任务队列,被提交但尚未被执行的任务
任务队列底层是BlockingQueue阻塞队列!不清楚阻塞队列的参考这篇文章:用阻塞队列实现一个生产者消费者模型?
-
threadFactory:表示生成线程池中工作线程的线程工厂,用于创建线程一般用默认的即可
-
handler: 拒绝策略,表示当队列满了并且工作线程大于等于线程池的最大线程数(maximumPoolSize)时如 何来拒绝请求执行的runable的策略
5. 线程池的底层工作原理以及过程
如上图所属,其流程为:
-
在创建了线程池之后,等待提交过来的任务请求
-
当调用execute()方法添加一个请求任务时,线程池会做出如下判断:
2.1 如果正在运行的线程数量小于corePoolSize,那么马上创建线程运行这个任务;
2.2 如果正在运行的线程数量大于或等于corePoolSize,那么将这个任务放入队列;
2.3 如果此时队列满了且运行的线程数小于maximumPoolSize,那么还是要创建非核心线程立刻运行此任务;
2.4 如果队列满了且正在运行的线程数量大于或等于maxmumPoolSize,那么启动饱和拒绝策略来执行
-
当一个线程完成任务时,他会从队列中取出下一个任务来执行
-
当一个线程无事可做超过一定的时间(keepAliveTime)时,线程池会判断:
如果当前运行的线程数大于corePoolSize,那么这个线程会被停掉;所以线程池的所有任务完成后他最大会收 缩到corePoolSize的大小
5. 实际工作中如何设置合理参数
5.1 线程池的拒绝策略
- 什么是线程的拒绝策略
- 等待队列也已经排满了,再也塞不下新任务了,同时线程池中的max线程也达到了,无法继续为新任务服务。这时我们就需要拒绝策略机制合理的处理这个问题
- JDK内置的拒绝策略
- AbortPolicy(默认):如果满了会直接抛出RejectedExecutionException异常阻止系统正常运行
- CallerRunsPolicy:”调用者运行“一种调节机制,该策略既不会抛弃任务,也不会抛出异常,而是将某些任务回退到调用者, 从而降低新任务的流量
- DiscardOldestPolicy:抛弃队列中等待最久的任务,然后把当前任务加入队列中尝试再次提交当前任务
- DiscardPolicy:直接丢弃任务,不予任何处理也不抛异常。如果允许任务丢失,这是最好的一种方案
- 均实现了RejectedExecutionHandler接口
5.2 你在工作中单一的/固定数的/可变的三种创建线程池的方法,用哪个多?
回答:一个都不用,我们生产上只能使用自定义的!!!!
为什么?
线程池不允许使用Executors创建,试试通过ThreadPoolExecutor的方式,规避资源耗尽风险
阿里巴巴规范手册当中提到:
- FixedThreadPool和SingleThreadPool允许请求队列长度为Integer.MAX_VALUE,可能会堆积大量请求,导致OOM;
- CachedThreadPool和ScheduledThreadPool允许的创建线程数量为Integer.MAX_VALUE,可能会创建大量线程,导致OOM
5.3 你在工作中时如何使用线程池的,是否自定义过线程池?
上代码:
我们运行结果为:
当任务数量变多或者任务变重时:如将我们的任务数量调整为20时,此时运行结果为:
发生了异常,且任务只执行完了15个,我们可以看到其中active threads = 0, queued tasks = 0也就是说我的阻塞队列已经满了,且没有空闲的线程了,此时再申请任务我就会抛出异常,这是线程池handler参数的拒绝策略,当我们更改策略为ThreadPoolExecutor.CallerRunsPolicy()
时,运行结果当中存在main 办理业务;
语句,也就意味着线程池将某些任务回退到了调用者,另外的两个拒绝策略在此就不演示
5.4 合理配置线程池你是如何考虑的?
-
CPU密集型:
- CPU密集的意思是该任务需要大量的运算,而没有阻塞,CPU一直全速运行
- CPU密集任务只有在真正多核CPU上才可能得到加速(通过多线程) 而在单核CPU上,无论你开几个模拟的多线程该任务都不可能得到加速,因为CPU总的运算能力就那些
- CPU密集型任务配置尽可能少的线程数量
一般公式:CPU核数+1个线程的线程池
-
IO密集型
- 由于IO密集型任务线程并不是一直在执行任务,则应配置经可能多的线程,如CPU核数 * 2
- IO密集型,即该任务需要大量的IO,即大量的阻塞。在单线程上运行IO密集型的任务会导致浪费大量的 CPU运算能力浪费在等待。
- 所以在IO密集型任务中使用多线程可以大大的加速程序运行,即使在单核CPU上,这种加速主要就是利用 了被浪费掉的阻塞时间。
- IO密集型时,大部分线程都阻塞,故需要多配置线程数:
参考公式:CPU核数/(1-阻塞系数) 阻塞系数在0.8~0.9之间
例如八核CPU:,利用公式,约为:8/(1-0,9)=80个线程