《Java并发编程的艺术》第10章 Executor框架
Java的线程既是工作单元,也是执行机制。从JDK5开始,把工作单元与执行机制分离开来。工作单元包括Runnable和Callable,执行机制由Executor框架提供。
10.1 Executor框架简介
10.1.1 Executor框架的两级调度模型
在HotSpot VM 的线程模型中,Java线程(java.lang.Thread)被一对一映射为本地操作系统线程。Java线程启动时会创建一个本地操作系统线程;当该Java线程终止时,这个操作系统线程也会被回收。操作系统会调度所有线程并将它们分配给可用的CPU。
在上层,Java多线程程序通常把应用分解为若干个任务,然后使用用户级的调度器(Executor框架)将这些任务映射为固定数量的线程; 在底层,操作系统内核将这些线程映射到硬件处理器上。这种两级调度模型的示意图如下:
从图中可以看出,应用程序通过Executor框架控制上层的调度;而下层的调度由操作系统内核控制,下层的调度不受应用程序的控制。
10.1.2 Executor框架的结构与成员
1. Executor框架的结构
Executor框架主要由3大部分组成:
- 任务。 包括被执行任务需要实现的接口:Runnable接口或Callable接口。
- 任务的执行。 包括任务执行机制的核心接口Executor,以及继承自Executor的ExecutorService接口。 Executor框架有两个关键类实现了ExecutorService接口(ThreadPoolExecutor和ScheduledThreadPoolExecutor)。
- 异步计算的结果。 包括接口Future和实现Future接口的FutureTask类。
这些类和接口简介:
- Executor:是一个接口,它是Executor框架的基础,它将任务的提交与任务的执行分离开来。
- ThreadPoolExecutor:是线程池的核心实现类,用来执行被提交的任务。
- ScheduledThreadPoolExecutor:是一个实现类,可以在给定的延迟后运行命令,或者定期执行命令。ScheduledThreadPoolExecutor比Timer更灵活,功能更强大。
- Future接口和实现Future接口的FutureTask类,代表异步计算的结果。
- Runnable接口和Callable接口的实现类,都可以被ThreadPoolExecutor或Scheduled-ThreadPoolExecutor执行。
Executor框架的使用示意图:
主线程首先要创建实现Runnable或者Callable接口的任务对象。
然后可以把Runnable对象直接交给ExecutorService执行(ExecutorService.execute(Runnablecommand));或者也可以把Runnable对象或Callable对象提交给ExecutorService执行(ExecutorService.submit(Runnable task)或 ExecutorService.submit(Callable<T>task))。
如果执行ExecutorService.submit(…),ExecutorService将返回一个实现Future接口的对象(到目前为止的JDK中,返回的是FutureTask对象)。
最后,主线程可以执行FutureTask.get()方法来等待任务执行完成。主线程也可以执行FutureTask.cancel(boolean mayInterruptIfRunning)来取消此任务的执行。
2. Executor框架的成员
Executor框架的主要成员:ThreadPoolExecutor、ScheduledThreadPoolExecutor、Future接口、Runnable接口、Callable接口、Executors。
1. ThreadPoolExecutor
ThreadPoolExecutor是线程池的核心实现类,主要由下面4个组件构成:
- corePool:核心线程池的大小。
- maximumPool:最大线程池的大小。
- BlockingQueue:用来暂时保存任务的工作队列。
- RejectedExecutionHandler:当ThreadPoolExecutor已经关闭或已经饱和时(达到了最大线程池且工作队列已满),execute()方法将要调用的Handler
通过Executor框架的工具类Executors,可以创建(Executors.newXXX)3种类型的ThreadPoolExecutor:FixedThreadPool、SingleThreadExecutor、CachedThreadPool。
1)FixedThreadPool:可重用固定线程数的线程池。
(适用于负载比较重的服务器)
源代码实现:
public static ExecutorService newFixedThreadPool(int nThreads){ return new ThreadPoolExecutor(nThreads,nThreads,0L,TimeUnit.MILLISECONDS,new LinkedBlockingQueue<Runnable>()); } //FixedThreadPool的corePoolSize和maximumPool都被设置为创建FixedThreadPool时指定的参数nThreads。 //当线程池中的线程数大于corePoolSize时,keepAliveTime为多余的空闲线程等待新任务的最长时间,超过这个时间后多余的线程将被终止。这里把keepAliveTime设置为0L,意味着多余的空闲线程会被立刻终止。
//阻塞队列采用LinkedBlockingQueue(它是一个无界队列),由于采用了无界队列,实际线程数量将永远维持在nThreads,因此maximumPoolSize和keepAliveTime将无效.
FixedThreadPool的executor()方法的运行示意图:
- 如果当前运行的线程数少于corePoolSize,则创建新线程来执行任务。
- 在线程池完成预热之后(当前运行的线程数等于corePoolSize),将任务加入LinkedBlockingQueue。
- 当线程执行完1中的任务后,会在循环中反复从LinkedBlockingQueue获取任务来执行。
【注】FixedThreadPool使用无界队列LinkedBlockingQueue作为线程池的工作队列。使用无界队列会对线程池带来如下影响:
- 当线程池中的线程数达到corePoolSize后,新任务将在无界队列中等待,因此线程池中的线程数不会超过corePoolSize。
- 使用无界队列时maximumPoolSize、keepAliveTime将是无效参数。
- 由于使用无界队列,运行中的FixedThreadPool(未执行方法shutdown()或shutdownNow())不会拒接任务。(不会调用RejectedExecutionHandler.rejectedExecution方法)
2)SingleThreadExecutor:只会创建一个线程执行任务。
(适用于需要保证顺序执行各个任务;并且在任意时间点,没有多线程活动的场景。)
源代码实现:
public static ExecutorService newSingleThreadExecutor(){ return new ThreadPoolExecutor(1,1,0L,TimeUnit.MILLISECONDS,new LinkedBlockingQueue<Runnable>());} //SingleThreadExecutorl的corePoolSize和maximumPool都被设置为1。 //SingleThreadExecutorl也使用无界队列LinkedBlockingQueue作为工作队列。所以maximumPool和keepAliveTime无效
SingleThreadExecutor的executor()方法的运行示意图:
- 如果当前运行的线程数少于corePoolSize(<1,即线程池中无运行的线程),则创建新线程来执行任务。
- 在线程池完成预热之后(当前线程池中有一个运行的线程),将任务加入LinkedBlockingQueue。
- 当线程执行完1中的任务后,会在循环中反复从LinkedBlockingQueue获取任务来执行。
【注】SingleThreadExecutorl也使用无界队列LinkedBlockingQueue作为工作队列,对线程池带来的影响与FixedThreadPool相同。
3)CachedThreadPool:是一个会根据需要创建线程的线程池。
(大小无界,适用于执行很多的短期异步任务的小程序,或负载较轻的服务器)
源代码实现:
public static ExecutorService newCachedThreadPool(){ return new ThreadPoolExecutor(0,Integer.MAX_VALUE,60L,TimeUnit.MILLISECONDS,new SynchronousQueue<Runnable>()); } //CachedThreadPool的corePoolSize被设置为0,即corePool为空; maximumPool被设置为Integer.MAX_VALUE,即maximumPool是无界的。 //keepAliveTime设置为60L,意味着CachedThreadPool中的空闲线程等待新任务的最长时间为60秒,空闲时间超过60秒将会被终止。
【注】CachedThreadPool使用没有容量的SynchronousQueue作为线程池的工作队列,但CachedThreadPool的maximumPool是无界的。这意味着,如果主线程提交任务的速度高于maximumPool中线程处理任务的速度时,CachedThreadPool会不断创建新线程。极端情况下,CachedThreadPool会因为创建过多线程而耗尽CPU和内存资源。
- 它是一个可以无限扩大的线程池;
- 它比较适合处理执行时间比较小的任务;
- corePoolSize为0,maximumPoolSize为无限大,意味着线程数量可以无限大;
- keepAliveTime为60S,意味着线程空闲时间超过60S就会被杀死;
- 采用SynchronousQueue装等待的任务,这个阻塞队列没有存储空间,这意味着只要有请求到来,就必须要找到一条工作线程处理他,如果当前没有空闲的线程,那么就会再创建一条新的线程。
SingleThreadExecutor的executor()方法的运行示意图:
- 首先执行SynchronousQueue.offer(Runnable task)。如果当前maximumPool中有空闲线程正在执行SynchronousQueue.poll(keepAliveTime,TimeUnit.NANOSECONDS),那么主线程执行offer操作与空闲线程执行的poll操作配对成功,主线程把任务交给空闲线程执行,executor()方法执行完成;否则执行下面的步骤2.
- 当初始maximumPool为空,或者maximumPool中当前没有空闲线程时,将没有线程执行SynchronousQueue.poll(keepAliveTime,TimeUnit.NANOSECONDS)。这种情况下步骤1将失败。此时CachedThreadPool会创建一个新线程执行任务,executor方法执行完成。
- 在步骤2中创建的线程将任务执行完后,会执行SynchronousQueue.poll(keepAliveTime,TimeUnit.NANOSECONDS)。这个poll操作会让空闲线程最多在SynchronousQueue中等待60秒。如果60秒内主线程提交了一个新任务,那么这个空闲线程将执行主线程提交的新任务;否则,这个空闲线程将终止。由于空闲60秒的空闲线程会被终止,因此长时间保持空闲的CachedThreadPool不会使用任何资源。
2. ScheduledThreadPoolExecutor
ScheduledThreadPoolExecutor继承自ThreadPoolExecutor。它主要用来在给定的延迟之后运行任务,或者定期执行任务。
ScheduledThreadPoolExecutor功能与Tiimer类似,但比Timer功能更强大。Timer对应的是单个后台线程,而ScheduledThreadPoolExecutor可以在构造函数中指定多个对应的后台线程数。
Executors可以创建2种类型的ScheduledThreadPoolExecutor:
- ScheduledThreadPoolExecutor:包含若干个线程(固定个数线程)的ScheduledThreadPoolExecutor。适用于需要多个后台线程执行执行周期任务,同时限制后台线程个数 的应用场景。
public static ScheduledExecutorService newScheduledThreadPool(int corePoolSize) public static ScheduledExecutorService newScheduledThreadPool(int corePoolSize, ThreadFactory threadFactory)
- SingleThreadScheduledExecutor:只包含一个线程的ScheduledThreadPoolExecutor。适用于需要单个后台线程执行周期任务,同时需要保证顺序地执行各个任务的应用场景。
public static ScheduledExecutorService newSingleThreadScheduledExecutor() public static ScheduledExecutorService newSingleThreadScheduledExecutor(ThreadFactory threadFactory)
ScheduledThreadPoolExecutor为了实现周期性的执行任务,对ThreadPoolExecutor做了如下修改:
- 使用DelayQueue作为任务队列。
- 获取任务的方式不同。
- 执行周期任务后,增加了额外的处理。
【注】DelayQueue是一个无界队列,所以ThreadPoolExecutor的maximumPoolSize在ScheduledThreadPoolExecutor中没有什么意义。
ScheduledThreadPoolExecutor的执行示意图:
- 当调用ScheduledThreadPoolExecutor的 scheduleAtFixedRate() 方法或者 scheduleWithFixedDelay() 方法时,会向ScheduledThreadPoolExecutor的DelayQueue添加一个实现了RunnableScheduleFutur接口的ScheduledFutureTask。
- 线程池中的线程从DelayQueue中获取ScheduledFutureTask,然后执行任务。
【注】
- 它接收SchduledFutureTask类型的任务,有两种提交任务的方式:
- scheduledAtFixedRate()
- scheduledWithFixedDelay()
- SchduledFutureTask接收的参数:
- time:任务开始的时间
- sequenceNumber:任务的序号
- period:任务执行的时间间隔
- 它采用DelayQueue存储等待的任务
- DelayQueue内部封装了一个PriorityQueue,它会对队列中的SchduledFutureTask进行排序。排序时,time小的排在前面(时间早的任务将被先执行),若time相同则根据sequenceNumber排序,sequenceNumber小的排在前面(如果两人无执行时间相同,则先提交的任务将先被执行)。
- DelayQueue也是一个无界队列;
- 工作线程的执行过程:
- 工作线程会从DelayQueue取已经到期的任务(SchduledFutureTask)去执行;(到期任务指SchduledFutureTask的time大于当前时间)
- 执行结束后重新设置任务的到期时间,然后将修改time之后的SchduledFutureTask再次放回DelayQueue中。
总结线程池: