云服务器spark集群搭建

---恢复内容开始---

1：去官网下载spark http://spark.apache.org 

2：解压，然后在自己的机器上编译conf中的两个文件 

 

mv slaves.template slaves
mv spark-env.sh.tempalte spark-env.sh

3:编辑的内容如下

以下是spark-env.sh中的内容  这里的ip使用的是内网ip

export SPARK_MASTER_IP=10.104.157.113
export SPARK_MASTER_PORT=7077

 4：slaves文件内容

 一下是slaves中的内容，这里直接填写外网ip（如果集群在一个内网的话可以用内网ip，博主是直接云服务器的，所以不在一个内网）

请事先配置好slave，slave1的hosts文件内容，并且ssh登录到slave可以免密登录（类似hadoop的环境准备）

slave
slave1

5：启动

bin/start-all.sh

jps查看是否各机器有worker或者master

6：使用

spark-shell使用 后面的地址必须是地址。不能是hostname，一下的命令在master机器上执行

./spark-shell --master spark://10.104.157.113:7077

./spark-shell 在本机启动一个单机的spark，后面加了--master才表示在集群上运行