大数据框架环境安装与配置03--Spark

在第一篇文章已经设置好了Scala的环境变量，本文直接说Spark的配置。

 

1 修改三台机器的 conf/slaves 文件

输入如下命令：

cd /usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7/conf
vim slaves

 

打开slaves文件，修改为如下内容：

ubuntu@master
ubuntu@slave1
ubuntu@slave2

 

2 修改 master机器的 conf/spark-env.sh 文件

在master机器，输入如下命令：

cd /usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7/conf
vim spark-env.sh

 

在文末写如下内容：

export SCALA_HOME=/usr/local/hadoop-2.9.2/scala-2.11.7
export SPARK_HOME=/usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export JAVA_HOME=/usr/local/jdk1.8.0_261
export HADOOP_CONF_DIR=/usr/local/hadoop-2.9.2/etc/hadoop
export SPARK_WORKER_MEMORY=256m
export SPARK_MASTER_IP=master内网ip
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_LOCAL_IP=master内网ip
export SPARK_MASTER_WEBUI_PORT=8080

 

3 修改 slave1 机器的 conf/spark-env.sh 文件

在slave1机器，输入如下命令：

cd /usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7/conf
vim spark-env.sh

 

在文末写如下内容：

export SCALA_HOME=/usr/local/hadoop-2.9.2/scala-2.11.7
export SPARK_HOME=/usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export JAVA_HOME=/usr/local/jdk1.8.0_261
export HADOOP_CONF_DIR=/usr/local/hadoop-2.9.2/etc/hadoop
export SPARK_WORKER_MEMORY=256m
export SPARK_MASTER_IP=master公网ip
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_LOCAL_IP=slave1内网ip
export SPARK_MASTER_WEBUI_PORT=8080

 

4 修改 slave2 机器的 conf/spark-env.sh 文件

在slave2机器，输入如下命令：

cd /usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7/conf
vim spark-env.sh

 

在文末写如下内容：

export SCALA_HOME=/usr/local/hadoop-2.9.2/scala-2.11.7
export SPARK_HOME=/usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export JAVA_HOME=/usr/local/jdk1.8.0_261
export HADOOP_CONF_DIR=/usr/local/hadoop-2.9.2/etc/hadoop
export SPARK_WORKER_MEMORY=256m
export SPARK_MASTER_IP=master公网ip
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_LOCAL_IP=slave2内网ip
export SPARK_MASTER_WEBUI_PORT=8080

 

5启动spark集群

在master机器上，输入如下命令，启动spark集群：

 

cd /usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7/sbin
./start-all.sh

 

 

在master机器上输入如下命令，可以关闭集群：

cd /usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7/sbin
./stop-all.sh

 

集群启动后，可以访问如下web页面查看Spark集群的状态：

http://master公网IP:8080/

 

Spark的部署完毕。