2020年9月30日
通过Spark面试题理解SparkCore
摘要： 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Exe 阅读全文
posted @ 2020-09-30 14:59 Loading~ 阅读(353) 评论(0) 推荐(0) 编辑
Spark广播变量和累加器
摘要： 转载 https://www.cnblogs.com/qingyunzong/p/8890483.html#_label1_0 阅读全文
posted @ 2020-09-30 14:26 Loading~ 阅读(89) 评论(0) 推荐(0) 编辑
Spark二次排序
摘要： 转载： https://www.cnblogs.com/zzhangyuhang/p/9038580.html 阅读全文
posted @ 2020-09-30 12:10 Loading~ 阅读(105) 评论(0) 推荐(0) 编辑
Spark任务调度和资源调度图解
摘要： 1、Spark中application、job、stage、task、driver/executor之间的关系 一个application就是一个应用程序，包含了客户端所有的代码和计算资源 一个action操作对应一个DAG有向无环图，即一个action操作就是一个job 一个job中包含了大量的宽 阅读全文
posted @ 2020-09-30 09:14 Loading~ 阅读(270) 评论(0) 推荐(0) 编辑