Spark应用程序的运行框架
摘要:
几个基本概念:(1)job:包含多个task组成的并行计算,往往由action催生。(2)stage:job的调度单位。(3)task:被送到某个executor上的工作单元。(4)taskSet:一组关联的,相互之间没有shuffle依赖关系的任务组成的任务集。一个应用程序由一个driver pr... 阅读全文
posted @ 2015-10-03 17:26 wzyxidian 阅读(485) 评论(0) 推荐(0) 编辑