摘要：
RDD的缓存 Spark速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存数据集。当持久化某个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此RDD或衍生出的RDD进行的其他动作中重用。这使得后续的动作变得更加迅速。RDD相关的持久化和缓存是Spark最重要的特征之一。可以 阅读全文
摘要：
RDD的依赖关系 子RDD和它依赖的父RDD（s）的关系有两种不同的类型，窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖 指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 宽依赖 指的是多个子RDD的Partitio 阅读全文
摘要：
创建RDD的两种方法 1、由scala集合创建val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))2、由外部存储系统的数据创建val rdd2 = sc.textFile("hdfs://m1:9000/words.txt") RDD的算子Transfo 阅读全文
摘要：
RDD（Resilient Distributed Dataset） 弹性分布式数据集是spark中最基本的数据抽象，它代表不可变的、可分区的、里面的数据可以进行并行计算的集合。RDD具有数据流模型的特点，自动容错，位置感知性调度和可伸缩性。RDD允许用户在查询数据时显示的将数据集缓存在内存中，后续 阅读全文