摘要：
DAG ： 整个计算链可以抽象为一个DAG(有向无环图) Spark 的 DAG 作用： 记录了RDD之间的依赖关系，即RDD是通过何种变换生成的， 如下图：RDD1是RDD2的父RDD，通过flatMap操作生成 借助RDD之间的依赖关系，可以实现数据的容错， 即子分区(子RDD)数据丢失后，可以 阅读全文
摘要：
RDD概述 RDD：弹性分布式数据集，初学时，可以把RDD看做是一种集合类型（和Array，List类比） RDD的特点： ①有容错性，即数据丢失是可以恢复的 ②有分区机制，可以并行的处理RDD数据 创建RDD的2种方式： ①将一个普通的集合类型(Array或List) ②通过Spark读取外部存储 阅读全文