摘要:
1. 思考 : 依赖的本质是什么呢?作用是什么? 1. 在我们初始化RDD的时候, 需要指定 RDD的依赖关系 abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient private 阅读全文
摘要:
1.介绍 弹性分布式数据集(RDD) 弹性: 存储弹性(可内存、可磁盘) 分布式: 数据存储不同的机器节点上 Spark的基本抽象,最小的数据单元 在这个数据集上,定义了基本操作(算子) map、filter 2.五个重要的属性 //分区信息 => A list of partitions prot 阅读全文