2018年9月4日
Spark运行机制和提交过程
摘要： 1.运行机制 1.依赖：宽依赖和窄依赖，RDD具有分区 宽依赖：多个子RDD的分区依赖同一个父RDD的分区，类似reduceByKey；在父RDD的角度，理解为超生； 窄依赖：父RDD的每个分区最多被一个子RDD使用，类似map()；在父RDD的角度，理解为独生； 2.依赖和分区 分区:RDD分区指 阅读全文
posted @ 2018-09-04 16:43 Coding_Now 阅读(201) 评论(0) 推荐(0) 编辑