随笔分类 -  spark/kafka/akka

摘要：客户端由两种：生产者和消费者 1. 生产者 先看一下生产者的构造方法： 很多代码是读取配置文件，但红色部分才是主要： 调用Sender线程的run方法 调用NetworkClient的send方法 selector调用channel来发送： 调用channel的send方法： 这里Transport 阅读全文

摘要：1. scala初识spark由scala编写，要解析scala，首先要对scala有基本的了解。1.1 class vs objectA class is a blueprint for objects. Once you define a class, you can create object... 阅读全文

摘要：从两方面来阐述spark的组件，一个是宏观上，一个是微观上。1. spark组件要分析spark的源码，首先要了解spark是如何工作的。spark的组件：了解其工作过程先要了解基本概念官方罗列了一些概念：TermMeaningApplicationUser program built on Spa... 阅读全文

摘要：工作中用到了apache-spark，想深入了解一下，决定从源码开始。先导入到常用的ide，eclipse吧：准备工作　1. 下载Eclipse：http://scala-ide.org/　2. 从github上下载源码：https://github.com/apache/spark第一个实验品是S... 阅读全文