Spark - [03] RDD概述

RDD，分布式数据集，是Spark中最基本的数据抽象。

 

一、什么是RDD

RDD（Resilient Distributed Dataset）叫做分布式数据集，是 Spark 中最基本的数据抽象。

代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。

 

 

二、RDD的属性

① 一组分区（Partition），即数据集的基本组成单位；
② 一个计算每个分区的函数；
③ RDD 之间的依赖关系；
④ 一个 Partitioner，即RDD的分片函数；
⑤ 一个列表，存储存取每个 Partition 的优先位置（preferred location）

 

 

三、RDD的特点

RDD 表示只读的分区的数据集，对RDD进行改动，只能通过 RDD 转换操作，由一个RDD得到一个新的RDD，新的RDD包含了从其他RDD衍生所必需的信息。

RDDs 之间存在依赖，RDD的执行是按照血缘关系延时计算的。如果血缘关系较长，可以通过持久化 RDD 来切断血缘关系。

 

（1）分区

RDD 逻辑上是分区的，每个分区的数据是抽象存在的，计算的时候会通过一个 compute 函数得到每个分区的数据。

如果RDD是通过已有的文件系统创建，则 compute 函数是读取指定文件系统中的数据，如果 RDD 是通过其他 RDD转换而来，则 compute 函数是执行转换逻辑将其他 RDD 的数据进行转换。

 

 

 

（2）只读

RDD 是只读的，要想改变RDD中的数据，只能在现有的RDD基础上创建新的RDD。

由一个 RDD 转换到另一个 RDD，可以通过丰富的操作算子实现，不再像 MapReduce 那样只能写 map 和 reduce

RDD 的操作算子包括两类：

一类叫做transformations，它是用来将 RDD 进行转化，构建 RDD 的血缘关系；

另一类叫做 actions，它是用来触发 RDD 的计算，得到 RDD 的相关计算结果或者将 RDD 保存到文件系统中。

 

（3）依赖

RDDs 通过操作算子进行转换，转换得到的新 RDD 包含了 从其他 RDDs 衍生所必需的信息，RDDs 之间维护着这种血缘关系，也称之为依赖。

依赖包括两种：

一种是窄依赖，RDDs 之间分区是一一对应的，

另一种是宽依赖，下游的RDD的每个分区与上游RDD（也称之为父RDD）的每个分区都有关，是多对多关系。

 

（4）缓存

  如果在应用程序中多次使用同一个 RDD，可以将该RDD缓存起来，该RDD只有在第一次计算的时候会根据血缘关系得到的分区的数据，在后续其他地方用到该RDD的时候，会直接从缓存处而不用再根据血缘关系计算，这样就加速后期的重用。

 

（5）checkpoint

  虽然 RDD 的血缘关系天然地可以实现容错，当 RDD 的某个分区数据失败或丢失，可以通过血缘关系重建。但是对于长时间迭代型应用来说，随着迭代的进行，RDDs 之间的血缘关系会越来越长，一旦在后续迭代过程中出错，则需要通过非常长的血缘关系去重建，势必影响性能。为此，RDD 支持 checkpoint 将数据保存到持久化的存储中，这样就可以切断之前的血缘关系，因为 checkpoint 后的RDD不需要知道它的父 RDDs了，它可以从 checkpoint 处 拿到数据。

 

 

 

 

— 要养成终身学习的习惯 —