BigData——Spark的搭建

Spark的搭建

安装Scala

由于Scala只是一个应用软件，只需要安装在master节点即可。

上传scala安装包

/bigdata/packet/scala-2.11.8

解压scala安装包

tar -zxvf scala-2.11.8.tgz -C /bigdata

环境变量配置（三台机器都做一遍）：

vim /etc/profile

#scala
export SCALA_HOME= /bigdata/scala-2.11.8
export PATH =$SCALA_HOME/bin:$PATH

使环境变量生效：

source /etc/profile

验证Scala是否安装成功

输入scala命令，如下进入scala环境，则证明scala安装成功：

分发到从节点

scp  -rp /bigdata/scala-2.11.8  node1: /bigdata
scp  -rp /bigdata/scala-2.11.8  node2:/ bigdata

安装Spark

上传spark安装包

/bigdata/packet/spark-2.4.8-bin-hadoop2.6.tgz

解压spark安装包

 tar -zxvf  spark-2.4.8-bin-hadoop2.6.tgz -C /bigdata

配置spark参数

配置spark-env.sh文件：

cp spark-env.sh.template spark-env.sh

# vim spark-env.sh

export JAVA_HOME=/bigdata/jdk1.8.0
export HADOOP_HOOME=/bigdata/hadoop-2.6.0
export HADOOP_CONF_DIR=/bigdata/hadoop-2.6.0/etc/hadoop
export SCALA_HOME=/bigdata/scala-2.11.8
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1G

配置slaves文件：

# cp slaves.template slaves

# vim slaves

node1
node2

配置spark环境变量

vim /etc/profile

export SCALA_HOME=/bigdata/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

使环境变量生效：source /etc/profile

分发配置文件到子机

scp -r /bigdata/spark-2.4.8 node1:/bigdata
scp -r /bigdata/spark-2.4.8 node2:/bigdata

scp /etc/profile  node1:/etc/profile
scp /etc/profile  node2:/etc/profile

修改执行命令

因为hadoop和spark的快捷启动sh是一样的，所以这里对两者进行修改，修改为hadoop-start-all.sh和spark-start-all.sh

启动

spark 在启动spark之前一定要检查hadoop是否开启。

spark-start-all.sh

各个节点的进程: