spark 2.4安装

1、spark 官网选择对应Hadoop的版本，之前安装的Hadoop版本为hadoop-3.0.2，获取下载包：

wget http://mirrors.hust.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

 

2、解压缩安装包，创建软连接：

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz

ln -s spark-2.4.0-bin-hadoop2.7 spark

 

3、配置spark，进入conf目录:

1)、配置spark-env.sh 文件

先拷贝：cp spark-env.sh.template spark-env.sh

文件增加内容如下：

export JAVA_HOME=/usr/local/src/jdk1.8.0_191 #Java环境变量

export SCALA_HOME=/usr/local/src/scala/scala-2.12.7 #SCALA环境变量

export SPARK_WORKING_MEMORY=521m #每一个worker节点上可用的最大内存

export SPARK_MASTER_IP=master #驱动器节点IP

export HADOOP_HOME=/usr/local/src/hadoop-3.0.2 #Hadoop路径

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #Hadoop配置目录

 

2)、配置slave主机

先拷贝：cp slaves.template slaves

文件中增加slave节点名称：

slave1

slave2

 

3）、将spark 目录发送给salve1和slave2

scp -r spark root@slave1:/usr/local/src/

scp -r spark root@slave2:/usr/local/src/

 

4)、启动spark

cd sbin目录，执行./start-all.sh

 

5)、节点启动了worker进程