摘要: Spark 集群的模式及提交任务的方式 本文大致的内容图 Spark 集群的两种模式: Standalone 模式 Standalone client 任务提交方式 提交命令 || 执行原理 执行流程 1. client 模式提交任务后, 会在客户端启动Driver进程 2. Driver 会向 M 阅读全文
posted @ 2019-10-23 22:16 wellDoneGaben 阅读(2070) 评论(0) 推荐(0) 编辑
摘要: RDD 宽窄依赖 RDD之间有一系列的依赖关系, 可分为窄依赖和宽依赖 窄依赖 从 RDD 的 parition 角度来看 父 RRD 的 parition 和 子 RDD 的 parition 之间的关系是一对一的 (或 者是多对一的)。 不会有 shuffle 产生 宽依赖 父 RRD 的 pa 阅读全文
posted @ 2019-10-23 17:49 wellDoneGaben 阅读(379) 评论(0) 推荐(0) 编辑