摘要: 1. 思考 : 依赖的本质是什么呢?作用是什么? 1. 在我们初始化RDD的时候, 需要指定 RDD的依赖关系 abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient private 阅读全文
posted @ 2022-09-14 17:43 学而不思则罔! 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 1.介绍 弹性分布式数据集(RDD) 弹性: 存储弹性(可内存、可磁盘) 分布式: 数据存储不同的机器节点上 Spark的基本抽象,最小的数据单元 在这个数据集上,定义了基本操作(算子) map、filter 2.五个重要的属性 //分区信息 => A list of partitions prot 阅读全文
posted @ 2022-09-14 11:29 学而不思则罔! 阅读(92) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示