多线程:Fork和Join详解(带例子)
首先我们得先明白这两个单词是什么意思:
Fork:叉 ; 分岔处,分流处,岔口,岔路 ; 分岔 ;
Join:连接; 接合; 联结; 结合; 联合; 汇合; 加入;
好了,看到这俩的翻译,是不是有所顿悟呢?请君继续看......
1. Java并发的发展历程
–Java 1 支持threads, locks, condition queues –Java 5 引入了 thread pools, blocking queues, concurrent collections –Java 7 加入了fork-join库 –Java 8 加入了 parallel streams
2. 基本思想
Fork/Join框架是Java7提供了的一个用于并行执行任务的框架, 是一个把大任务分割成若干个小任务,最终汇总每个小任务结果后得到大任务结果的框架。
分治法:把一个规模大的问题划分为规模较小的子问题,然后分而治之,最后合并子问题的解得到原问题的解。
步骤:
分割原问题;
求解子问题;
合并子问题的解为原问题的解
。
在分治法中,子问题一般是相互独立的,因此,经常通过递归调用算法来求解子问题。
3. 分治法典型应用
(1)二分搜索
(2)大整数乘法
(3)Strassen矩阵乘法
(4)棋盘覆盖
(5)合并排序
(6)快速排序
(7)线性时间选择
(8)汉诺塔
4. Fork/Join框架的实现原理
4.1 ForkJoinPool
ForkJoinPool 是实现Fork,Join的线程池 - ThreadPool
ForkJoinTask 一个描述ForkJoin的抽象类 Runnable/Callable
RecursiveAction 无返回结果的ForkJoinTask实现Runnable RecursiveTask<V> 有返回结果的ForkJoinTask实现Callable CountedCompleter<T> 在任务完成执行后会触发执行一个自定义的钩子函数
ForkJoinPool由ForkJoinTask数组和ForkJoinWorkerThread数组组成,ForkJoinPool中的所有的工作线程均有一个自己的工作队列WorkQueue:
- ForkJoinTask数组负责将存放程序提交给ForkJoinPool,ForkJoinTask封装了数据及其相应的计算;
- ForkJoinWorkerThread负责执行这些任务;
ForkJoinTask主要包括两个方法分别实现任务的分拆与合并:
1、fork()类似于Thread.start(),但是它并不立即执行任务,而是将任务放入工作队列中;
2、跟Thread.join()不同,ForkJoinTask的join()方法并不简单的阻塞线程;
4.2 Fork方法的实现原理
ForkJoinTask的Fork方法的实现原理:
当我们调用ForkJoinTask的fork方法时,程序会把任务放在ForkJoinWorkerThread的pushTask的workQueue中,异步地执行这个任务,然后立即返回结果,代码如下:
public final ForkJoinTask<V> fork() { Thread t; if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) ((ForkJoinWorkerThread)t).workQueue.push(this); else ForkJoinPool.common.externalPush(this); return this; }
pushTask方法把当前任务存放在ForkJoinTask数组队列里。然后再调用ForkJoinPool的signalWork()方法唤醒或创建一个工作线程来执行任务。代码如下:
final void push(ForkJoinTask<?> task) { ForkJoinTask<?>[] a; ForkJoinPool p; int b = base, s = top, n; if ((a = array) != null) { // ignore if queue removed int m = a.length - 1; // fenced write for task visibility U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task); U.putOrderedInt(this, QTOP, s + 1); if ((n = s - b) <= 1) { if ((p = pool) != null) p.signalWork(p.workQueues, this); } else if (n >= m) growArray(); } }
4.3 join方法的实现原理
ForkJoinTask的join方法实现原理
Join方法的主要作用是阻塞当前线程并等待获取结果。让我们一起看看ForkJoinTask的join方法的实现,代码如下:
public final V join() { int s; if ((s = doJoin() & DONE_MASK) != NORMAL) reportException(s); return getRawResult(); }
它首先调用doJoin方法,通过doJoin()方法得到当前任务的状态来判断返回什么结果,任务状态有4种:
- 已完成(NORMAL):直接返回任务结果;
- 被取消(CANCELLED):直接抛出CancellationException;
- 信号(SIGNAL)
- 出现异常(EXCEPTIONAL):直接抛出对应的异常
让我们分析一下doJoin方法的实现:
private int doJoin() { int s; Thread t; ForkJoinWorkerThread wt; ForkJoinPool.WorkQueue w; return (s = status) < 0 ? s : ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) ? (w = (wt = (ForkJoinWorkerThread)t).workQueue). tryUnpush(this) && (s = doExec()) < 0 ? s : wt.pool.awaitJoin(w, this, 0L) : externalAwaitDone(); } final int doExec() { int s; boolean completed; if ((s = status) >= 0) { try { completed = exec(); } catch (Throwable rex) { return setExceptionalCompletion(rex); } if (completed) s = setCompletion(NORMAL); } return s; }
在doJoin()方法里,首先通过查看任务的状态,看任务是否已经执行完成,
- 如果执行完成,则直接返回任务状态;
- 如果没有执行完,则从任务数组里取出任务并执行;
- 如果任务顺利执行完成,则设置任务状态为NORMAL;
- 如果出现异常,则记录异常,并将任务状态设置为EXCEPTIONAL。
4.4 Fork/Join框架的异常处理
ForkJoinTask在执行的时候可能会抛出异常,但是我们没办法在主线程里直接捕获异常,所以ForkJoinTask提供了isCompletedAbnormally()方法来检查任务是否已经抛出异常或已经被取消了,并且可以通过ForkJoinTask的getException方法获取异常。使用如下代码:
if(task.isCompletedAbnormally()){ System.out.println(task.getException()); }
5. 举个例子
使用Fork/Join框架首先要考虑到的是如何分割任务,如果希望每个子任务最多执行两个数的相加,那么我们设置分割阈值是2,由于是4个数字相加,所以Fork/Join框架会把这个任务fork成两个子任务,子任务一负责计算1+2,子任务二负责计算3+4,然后再join两个子任务的结果。因为是有结果的任务,所以必须继承RecursiveTask。
计算1+2+...+10000实现代码如下:
public class CountTask extends RecursiveTask<Integer> { private static final int THREAD_HOLD = 2;//设置分割阈值 private int start; private int end; public CountTask(int start,int end){ this.start = start; this.end = end; } @Override protected Integer compute() { int sum = 0; //如果任务足够小就计算 boolean canCompute = (end - start) <= THREAD_HOLD; if(canCompute){ for(int i=start;i<=end;i++){ sum += i; } }else{ int middle = (start + end) / 2; CountTask left = new CountTask(start,middle); CountTask right = new CountTask(middle+1,end); //执行子任务 left.fork(); right.fork(); //获取子任务结果 int lResult = left.join(); int rResult = right.join(); sum = lResult + rResult; } return sum; } public static void main(String[] args){ ForkJoinPool pool = new ForkJoinPool(); CountTask task = new CountTask(1,10000); Future<Integer> result = pool.submit(task); try { System.out.println(result.get()); } catch (InterruptedException e) { e.printStackTrace(); } catch (ExecutionException e) { e.printStackTrace(); } } }
参考及致谢:
1.Fork/Join框架基本使用(里面有一个归并排序的过程图,很好)
2.多线程(五) Fork/Join框架介绍及实例讲解(里面有任务窃取算法思想)
3.Fork-join原理解析(主要借鉴,特别感谢)
Over......