摘要: Spark内部执行机制 1.1 内部执行流程 如下图1为分布式集群上spark应用程序的一般执行框架。主要由sparkcontext(spark上下文)、cluster manager(资源管理器)和▪executor(单个节点的执行进程)。其中cluster manager负责整个集群的统一资源管 阅读全文
posted @ 2019-04-13 08:59 wss96 阅读(685) 评论(0) 推荐(0) 编辑