Standalone部署入门

Standalone

---

  构建一个由Master+Slave构成的Spark集群。

安装使用

---

1.进入spark安装目录的conf文件夹

2.修改spark-env.sh，默认是只有spark-env.sh.template文件，将其重命名或者拷贝重命名

SPARK_MASTER_HOST=hadoop1
SPARK_MASTER_PORT=7077

3.修改slave文件，添加worker节点

hadoop1
hadoop2
hadoop3

4.分发spark包

xsync spark/

5.启动

$ sbin/start-all.sh

如果遇到 JAVA_HOME not set 异常，在sbin目录下的spark-config.sh文件加入如下配置即可。

export JAVA_HOME=XXX