2017年11月20日
spark block读写流程分析
摘要： 之前分析了spark任务提交以及计算的流程，本文将分析在计算过程中数据的读写过程。我们知道：spark抽象出了RDD，在物理上RDD通常由多个Partition组成，一个partition对应一个block。在driver和每个executor端，都有一个Blockmanager。Blockmana 阅读全文
posted @ 2017-11-20 20:13 超级核弹头 阅读(2318) 评论(0) 推荐(0) 编辑