2015年11月18日

Spark执行的组成部分:作业、任务和步骤

摘要: 《Spark快速大数据分析》8.2Spark执行的组成部分:作业、任务和步骤程序定义了一个RDD对象的有向无环图DAG每个RDD维护了其指向一个或多个父节点的引用,以及表示其与父节点之间关系的信息。RDD可以追踪到其所有的祖先节点。Spark提供了toDebugString方法来查看RDD的谱系。在... 阅读全文

posted @ 2015-11-18 00:33 develooop 阅读(1567) 评论(0) 推荐(0) 编辑

导航

AmazingCounters.com