随笔分类 -  Spark源码阅读

Dependency 源码
摘要：1. 思考 : 依赖的本质是什么呢？作用是什么？ 1. 在我们初始化RDD的时候, 需要指定 RDD的依赖关系 abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient private 阅读全文
posted @ 2022-09-14 17:43 学而不思则罔！ 阅读(38) 评论(0) 推荐(0) 编辑
RDD 源码
摘要：1.介绍 弹性分布式数据集(RDD) 弹性: 存储弹性(可内存、可磁盘) 分布式: 数据存储不同的机器节点上 Spark的基本抽象,最小的数据单元 在这个数据集上,定义了基本操作(算子) map、filter 2.五个重要的属性 //分区信息 => A list of partitions prot 阅读全文
posted @ 2022-09-14 11:29 学而不思则罔！ 阅读(92) 评论(0) 推荐(0) 编辑
SparkConf-配置对象
摘要：1.介绍 Spark应用程序配置配置对象,负责为 SparkContext 对象加载 各种提交参数 维护了 一个 ConcurrentHashMap结构, 用来 key-value 来存储 spark的提交参数 SparkConf 对象一旦被提交,将会调用 clone方法,克隆原来对象,所有他是不支 阅读全文
posted @ 2022-09-08 20:59 学而不思则罔！ 阅读(467) 评论(0) 推荐(0) 编辑
01_Spark怎样将Application提交到yarn上的
摘要：1. 研究内容说明 1.本篇主要研究 Spark怎样将一个Application提交到Yarn集群中 这个过程中个节点会发生那些变化 阅读全文
posted @ 2022-04-25 23:22 学而不思则罔！ 阅读(27) 评论(0) 推荐(0) 编辑
01_好帖子存放处
摘要：宝哥大数据 https://chbxw.blog.csdn.net/category_6805627_2.html 阅读全文
posted @ 2022-04-25 19:51 学而不思则罔！ 阅读(13) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示