如何运行Spark集群的Standalone模式

我自己翻译自Spark的官网：http://spark.apache.org/docs/latest/spark-standalone.html#starting-a-cluster-manually

之前看了很多中文资料，看得云里雾里，还不如直接看官网呢！既权威又简洁明了。

 

Spark集群有三种运行模式：Standalone、Mesos和YARN模式。

 

现在说Standalone模式。这是最简单的模式，Spark靠自己就能运行这个模式(不依靠其它集群管理工具)。

 

方法一：手动运行Standalone模式。

前提：Spark各个文件都不做任何修改。

1、在master机器上运行 ./sbin/start-master/sh

运行完之后，会打印出url: spark://HOST:PORT ，这个就是当前master的Spark URL。

2、在slave机器上运行 ./sbin/start-slave.sh <master-spark-url>

然后在Master的管理界面上查看http://master-ip:8080，查看slave是否已上线。

 

方法二：使用集群运行脚本运行Standalone模式。

前提：master节点去访问slave节点需要使用ssh无密码登录，因此需要提前配置无密码登录。

1、在master的conf文件夹下新增slaves文件。slaves文件里存放着每一个slave节点的hostname，每行一个。

2、在master节点上运行如下脚本即可：

 

• sbin/start-master.sh - 在本机上运行master节点
• sbin/start-slaves.sh - 根据slaves文件在每台机器上运行slave节点
• sbin/start-slave.sh - 在本机上运行slave节点
• sbin/start-all.sh - 运行所有的master和slave节点
• sbin/stop-master.sh - 关闭本机上运行的master节点
• sbin/stop-slaves.sh - 关闭slaves文件里设定的每一个slave节点
• sbin/stop-all.sh - 关闭所有的master和slave节点

 

完毕。