一文搞定Spark集群的安装（Standalone模式）
前几天安装了Hadoop集群，还没有安装的参考：搭建集群hadoop - wanpi - 博客园 (cnblogs.com)
下载
官网下载链接：http://spark.apache.org/downloads.html
注意：可以选择hadoop,spark配套的安装包，如果之前安装过Hadoop，就不要选一套的了。我之前安装过Hadoop集群，所以我选择spark-2.4.7-bin-without-hadoop 这种不是一套的spark的安装包。存储在/home/hadoop目录下。
安装(四台机器都要执行)
下面的操作在四台机器上都要执行，我只以master节点为例。
在 /usr/local目录下，新建一个文件夹 spark-2.4.7。然后把spark-2.4.7-bin-without-hadoop目录下的东西复制到/usr/local/spark-2.4.7。
#创建文件夹
hadoop@master:$ sudo mkdir /usr/local/spark-2.4.7
#复制
hadoop@master:$ sudo cp -r /home/hadoop/spark-2.4.7-bin-without-hadoop/* /usr/local/spark-2.4.7
#把对/usr/local/spark-2.4.7的操作权限赋予hadoop用户
hadoop@master:$ sudo chown -R hadoop:hadoop /usr/local/hadoop
把spark的环境变量添加到 ~/.bashrc 中
hadoop@master:/usr/local/spark-2.4.7$ sudo vim ~/.bashrc
export SPARK_HOME=/usr/local/spark-2.4.7
export PATH=$JAVA_HOME/bin:$SPARK_HOME/bin:$PATH
#一定要更新，使~/.bashrc的生效
hadoop@master:/usr/local/spark-2.4.7$ source ~/.bashrc
配置(只在master节点执行)
下面的操作只在master节点进行。
进入/usr/local/spark-2.4.7/conf目录下
hadoop@master:/usr/local/spark-2.4.7$ cd ./conf
hadoop@master:/usr/local/spark-2.4.7/conf$ sudo vim ./spark-env,sh
#加入以下内容，第一个export重要！重要！重要！一定不要忘记修改
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_MASTER_IP=10.60.238.130
export SPARK_WORKER_MEMORY=6g
export SPARK_WORKER_CORES=4
export SPARK_MASTER_PORT=7077
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/jvm/java-8-openjdk-amd64/jre/lib/amd64
把slaves.template拷贝为slaves,并编辑 slaves文件
hadoop@master:/usr/local/spark-2.4.7/conf$ cp ./slaves.template slaves
hadoop@master:/usr/local/spark-2.4.7/conf$ sudo vim ./slaves
#加入以下内容
slave1
slave2
slave3
将配置文件/usr/local/spark-2.4.7/conf 下的内容同步到其他机器上,100%表示拷贝完毕
#scp -r ./conf hadoop@slave1:/usr/local/spark-2.4.7/
#注意@前面是hadoop用户，最后是/usr/local/spark-2.4.7/，不是/usr/local/spark-2.4.7/conf
hadoop@master:/usr/local/spark-2.4.7$ scp -r ./conf hadoop@slave1:/usr/local/spark-2.4.7/
spark-env.sh 100% 4630 2.7MB/s 00:00
docker.properties.template 100% 996 640.7KB/s 00:00
log4j.properties.template 100% 2025 1.7MB/s 00:00
fairscheduler.xml.template 100% 1105 1.2MB/s 00:00
slaves.template 100% 865 480.2KB/s 00:00
slaves 100% 888 548.8KB/s 00:00
metrics.properties.template 100% 7801 3.7MB/s 00:00
spark-defaults.conf.template 100% 1292 1.1MB/s 00:00
hadoop@master:/usr/local/spark-2.4.7$ scp -r ./conf hadoop@slave2:/usr/local/spark-2.4.7/
hadoop@master:/usr/local/spark-2.4.7$ scp -r ./conf hadoop@slave3:/usr/local/spark-2.4.7/
验证
jps命令验证：
进入到/usr/local/spark-2.4.7/sbin目录下，启动spark集群
#master节点
hadoop@master:/usr/local/spark-2.4.7/sbin$ ./start-all.sh
hadoop@master:/usr/local/spark-2.4.7/sbin$ jps
84437 Master
86214 Jps
#slave节点
hadoop@slave1:/usr/local/spark-2.4.7/conf$ jps
86164 Worker
86718 Jps
WEBUI界面验证：
浏览器输入：masterIP:8080
运行实例
hadoop@master:/usr/local/spark-2.4.7/bin$ spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
/usr/local/spark-2.4.7/examples/jars/spark-examples_2.11-2.4.7.jar
结果
