摘要: 在 script in Spark的 bin 目录中的spark-submit 脚本用与在集群上启动应用程序。它可以通过一个统一的接口使用所有 Spark 支持的 cluster managers,所以您不需要专门的为每个cluster managers配置您的应用程序。 阅读全文
posted @ 2017-09-27 17:37 片刻 阅读(623) 评论(0) 推荐(0) 编辑
摘要: 集群模式概述 该文档给出了 Spark 如何在集群上运行、使之更容易来理解所涉及到的组件的简短概述。通过阅读 应用提交指南 来学习关于在集群上启动应用。 组件 Spark 应用在集群上作为独立的进程组来运行,在您的 main 程序中通过 SparkContext 来协调(称之为 driver 程序) 阅读全文
posted @ 2017-09-27 17:35 片刻 阅读(189) 评论(0) 推荐(0) 编辑