寒假学习day2

下载 spark 安装包

选择自己Hadoop对应的版本，不然会不兼容

spark下载链接

2.解压

tar -zvxf spark.2.3

 

3.删除安装包，修改解压后的文件名字

rm -rf  安装包名
mv spark-2.3.4-bin-hadoop2.7 spark

 

 

4. 配置文件
进入到spark 目录下

cd conf

 

(1).修改配置文件名字：

mv spark-env.sh.template     spark-env.sh
vim spark-env.sh

 

 

(2).并往里添加几行代码：

export SCALA_HOME=/usr/local/scala
export JAVA_HOME=/usr/local/java/jdk
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
SPARK_MASTER_IP=Master11                            #这里的Master11是我的主机名
SPARK_LOCAL_DIRS=/usr/local/spark
SPARK_DRIVER_MEMORY=1G

 

(3).保存并退出：wq

(4).编辑slaves

mv slaves.template slaves
vim slaves

 

里面的内容改成自己的子节点的名称：

5.远程把spark传给两个节点：
进入到Scala的上一级目录：

 scp -r spark/ Master2:/usr/local/
 scp -r spark/ Master3:/usr/local/

 

 

把Scala也一起传过去

 scp -r scala/ Master2:/usr/local/
 scp -r scala/ Master3:/usr/local/

 

6.进入到spark的sbin目录 启动集群

[root@Master11 spark]# cd sbin
[root@Master11 sbin]# ./start-all.sh

 

 

jps

 

主机上：有Master

节点上：有Worker

安装完毕！！

7.启动spark shell

进入spark bin 目录

[root@Master11 bin]# spark-shell