摘要：
目的 用docker实现所有服务 在spark-notebook中编写Scala代码,实时提交到spark集群中运行 在HDFS中存储数据文件,spark-notebook中直接读取 组件 Spark (Standalone模式, 1个master节点 + 可扩展的worker节点) Spark-n 阅读全文
摘要：
在讲监听器时说过处理的新的socket要尽快返回，监听器调用的是ClientFactory的createPhysicalConnection方法，那么就来看这个方法： public boolean createPhysicalConnection(PushClientSocket socket... 阅读全文
摘要：
在一个服务器程序中，监听器的作用类似于公司前台，起引导作用，因此监听器花在每个新连接上的时间应该尽可能短，这样才能保证最快响应。回到编程本身来说：1. 监听器最好由单独的线程运行2. 监听器在接到新的连接之后，处理连接的方法需要尽快返回在Java Push Framework中，因为需要同时监听普通... 阅读全文
摘要：
最近一两年用C++写了好几个基于TCP通信类型程序，都是写一个小型的服务器，监听请求，解析自定义的协议，处理请求，返回结果。每次写新程序时都把老代码拿来，修改一下协议解析部分和业务处理部分，然后就一个新的程序就诞生了。如此这般做了几回，就萌生了一个想法：是不是可以做一个通用的服务器程序，每次只要实现... 阅读全文
摘要：
Java中启动一个线程很容易，通常情况下我们都是等到任务运行结束后让线程自行停止。但有时需要在任务正在运行时取消他们，使得线程快速结束。对此Java并没有提供任何机制。但是我们可以通过Java提供的线程中断机制来实现。首先来看Thread类三个和中断有关的方法：public class Thread... 阅读全文
摘要：
《java.util.concurrent 包源码阅读》系列文章已经全部写完了。开始的几篇文章是根据自己的读书笔记整理出来的（当时只阅读了部分的源代码），后面的大部分都是一边读源代码，一边写文章。由于水平有限，在阅读源代码的时候，分析得也比较浅显，还有很多地方自己也没有研究明白，有的地方显得语焉不详... 阅读全文
摘要：
这一部分来分析Phaser关于线程等待的实现。所谓线程等待Phaser的当前phase结束并转到下一个phase的过程。Phaser提供了三个方法：// 不可中断，没有超时的版本public int awaitAdvance(int phase);// 可以中断，没有超时的版本public int ... 阅读全文
摘要：
Phaser是JDK7新添加的线程同步辅助类，作用同CyclicBarrier，CountDownLatch类似，但是使用起来更加灵活：1. Parties是动态的。2. Phaser支持树状结构，即Phaser可以有一个父Phaser。Phaser的构造函数涉及到两个参数：父Phaser和初始的p... 阅读全文
摘要：
接下来看看调用ForkJoinTask的join方法都发生了什么： public final V join() { // doJoin方法返回该任务的状态，状态值有三种： // NORMAL, CANCELLED和EXCEPTIONAL // join... 阅读全文
摘要：
在写前面两篇文章23和24的时候自己有很多细节搞得不是很明白，这篇文章把Fork和Work-Stealing相关的源代码重新梳理一下。首先来看一些线程池定义的成员变量：关于scanGuard：volatile int scanGuard;private static final int SG_UNI... 阅读全文