RDD的iterator中的缓存处理内幕 -- (视频笔记)

前提storageLevel != null

 读源码查看

先看ietrator,

查看storageLevel

看sparkEnv.getMemoryManger,通过block manager来操作具体的storage,a list of partitions;RDD获取缓存实质上通过block manager 来获取,partition经过处理后的数据。缓存是block级别的。

 

posted @ 2015-12-30 11:15  逸新  阅读(314)  评论(0编辑  收藏  举报