Java并发专题:Fork/Join-Java并行计算框架
并行计算在处处都有大数据的今天已经不是一个新鲜的词汇了,现在已经有单机多核甚至多机集群并行计算,注意,这里说的是并行,而不是并发。严格的将,并行是指系统内有多个任务同时执行,而并发是指系统内有多个任务同时存在,不同的任务按时间分片的方式切换执行,由于切换的时间很短,给人的感觉好像是在同时执行。Java
在JDK7
之后加入了并行计算的框架Fork/Join
,可以解决我们系统中大数据计算的性能问题。Fork/Join
采用的是分治法,Fork
是将一个大任务拆分成若干个子任务,子任务分别去计算,而Join
是获取到子任务的计算结果,然后合并,这个是递归的过程。子任务被分配到不同的核上执行时,效率最高。伪代码如下:
1
|
Result solve(Problem problem) {
|
Fork/Join
框架的核心类是ForkJoinPool
,它能够接收一个ForkJoinTask
,并得到计算结果。ForkJoinTask
有两个子类,RecursiveTask
(有返回值)和RecursiveAction
(无返回结果),我们自己定义任务时,只需选择这两个类继承即可。类图如下:
下面来看一个实例:计算一个超大数组所有元素的和。代码如下:
1
|
import java.util.Arrays;
|
我们通过调整阈值(THRESHOLD
),可以发现耗时是不一样的。实际应用中,如果需要分割的任务大小是固定的,可以经过测试,得到最佳阈值;如果大小不是固定的,就需要设计一个可伸缩的算法,来动态计算出阈值。如果子任务很多,效率并不一定会高。
未完待续。。。
参考资料
http://gee.cs.oswego.edu/dl/papers/fj.pdf
https://docs.oracle.com/javase/tutorial/essential/concurrency/forkjoin.html
https://www.ibm.com/developerworks/cn/java/j-lo-forkjoin/
http://www.ibm.com/developerworks/cn/java/j-jtp11137.html
原文作者:文/高爽|Coder(CSDN作者)
原文标题:Java线程(十一):Fork/Join-Java并行计算框架