2016年7月11日
spark源码阅读 RDDs
摘要： RDDs弹性分布式数据集 spark就是实现了RDDs编程模型的集群计算平台。有很多RDDs的介绍，这里就不仔细说了，这儿主要看源码。 SparkEnv几个重要组件 BlockManager 主要成员 主要方法 get(blockId: BlockId) 通过BlockId找Block /** * 阅读全文
posted @ 2016-07-11 18:10 Q_Quan 阅读(224) 评论(0) 推荐(0) 编辑
spark源码阅读 persist与checkpoint
摘要： cache机制 阅读全文
posted @ 2016-07-11 17:42 Q_Quan 阅读(144) 评论(0) 推荐(0) 编辑