2019年3月21日
spark 计算模式与RDD(划分与依赖)
摘要： RDD 依赖: 1,RDD 宽依赖(会有shuffle过程):父EDD与子RDD partition之间关系是一对多(groupByKey) 2,RDD 窄依赖:父EDD与子RDD partition之间关系是一对一(map,union等)或者多对一(多个分区看成逻辑上的 partition,合并成一个分区)，多个父RDD也就有了shuffer过程 spark 计算模式: 1... 阅读全文
posted @ 2019-03-21 23:35 十七楼的羊 阅读(575) 评论(0) 推荐(0) 编辑