摘要: a.[--master]:表示要连接的集群管理器 spark://host:port:连接到指定端口的Spark独立集群上。默认情况下Spark 独立主节点使用7077端口 mesos://host:port:连接到指定端口的Mesos 集群上。默认情况下Mesos 主节点监听5050端口 yarn 阅读全文
posted @ 2019-02-11 15:31 Coding_Now 阅读(858) 评论(0) 推荐(0) 编辑
摘要: 一:相关概念的说明 1.application应用: 一个App包含:一个driver(驱动器)、cluster manager(集群管理器)、一个或多个Exector(执行器) spark中的App可以构建多个Job,而Job间的调用遵循{Scheduling Mode: FIFO}先进先出模式; 阅读全文
posted @ 2019-02-11 15:21 Coding_Now 阅读(438) 评论(0) 推荐(0) 编辑