09 2022 档案
摘要：1. 思考 : 依赖的本质是什么呢？作用是什么？ 1. 在我们初始化RDD的时候, 需要指定 RDD的依赖关系 abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient private
阅读全文
摘要：1.介绍 弹性分布式数据集(RDD) 弹性: 存储弹性(可内存、可磁盘) 分布式: 数据存储不同的机器节点上 Spark的基本抽象,最小的数据单元 在这个数据集上,定义了基本操作(算子) map、filter 2.五个重要的属性 //分区信息 => A list of partitions prot
阅读全文
摘要：1.介绍 Spark应用程序配置配置对象,负责为 SparkContext 对象加载 各种提交参数 维护了 一个 ConcurrentHashMap结构, 用来 key-value 来存储 spark的提交参数 SparkConf 对象一旦被提交,将会调用 clone方法,克隆原来对象,所有他是不支
阅读全文
摘要：1. 介绍 System 类代表系统(当前运行的JVM,并不是 所处的操作系统) 在类的内部放置了很多 系统级的属性和控制方法 所在位置 java.lang.System 该类的 构造方法 是 private的 ,所以是无法创建对象 但是 他的成员方法和成员属性都是 static的,所以 直接 Sy
阅读全文
