Spark常用的web地址
摘要：http://192.168.10.231:8088/cluster http://192.168.10.231:50070/dfshealth.html#tab-overview
阅读全文
posted @
2019-06-06 10:34
苦大师
阅读(1329)
推荐(0) 编辑
Spark基础概念
摘要：spark应用的基本概念 spark应用(Application)执行过程中各个组件的概念： spark应用(Application)执行过程中各个组件的概念： 1.Task(任务)：RDD中的一个分区对应一个task，task是单个分区上最小的处理流程单元。 2.TaskSet(任务集)：一组关联
阅读全文
posted @
2019-05-22 10:55
苦大师
阅读(337)
推荐(0) 编辑
rdd 宽依赖和窄依赖
摘要：Spark中RDD的高效与DAG图有着莫大的关系， 在DAG调度中需要对计算过程划分Stage， 而划分的依据就是就是RDD之间的依赖关系。 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency） 和宽依赖（Wide Depencency，也称为Shuffle De
阅读全文
posted @
2019-05-13 14:39
苦大师
阅读(1901)
推荐(0) 编辑
