摘要：
稀疏数组sparseArray 应用实例 1) 使用稀疏数组，来保留类似前面的二维数组(棋盘、地图等等) 2) 把稀疏数组存盘，并且可以从新恢复原来的二维数组数 3) 整体思路分析 4) 代码实现 import scala.collection.mutable.ArrayBuffer //稀疏数组- 阅读全文
摘要：
第2章 RDD编程（2.3） 2.3 TransFormation 基本RDD Pair类型RDD （伪集合操作 交、并、补、笛卡尔积都支持） 2.3.1 map(func) 返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成 2.3.2 mapPartitions(func) 阅读全文
摘要：
第2章 RDD编程 2.1 编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系 阅读全文