00.Spark--安装Spark
01.Spark--安装Spark
01.下载安装包 spark-2.1.0-bin-hadoop2.7.tgz
以下是Spark的官方下载地址:
https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz
02.解压文件到/soft目录下
[centos@s101 /soft/spark/conf]$cd ..
[centos@s101 /soft/spark/conf]$ls
[centos@s101 /soft/spark/conf]$cd ..
[centos@s101 /soft]$ls -al
[centos@s101 /soft]$tar -xzvf spark-2.1.0-bin-hadoop2.7.tgz -C /soft/
[centos@s101 /soft]
03.创建软连接
创建软连接后,编译各种文件配置以及后期进行版本升级和替换非常方便
[centos@s101 /soft]ln -s /soft/spark-2.1.0-bin-hadoop2.7 /soft/spark
[centos@s101 /soft]cat /etc/profile
04.配置环境变量
编辑/etc/profile环境变量文件:
[centos@s101 /soft]sudo /etc/profile
在文件末尾添加如下内容:
#spark export SPARK_HOME=/soft/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
注意:将Spark的bin目录和sbin目录都添加到环境变量path中,而且Linux使用“:”作为分隔符。
05.环境变量生效
$>source /etc/profile
06.进入Spark-shell命令
[centos@s101 /soft/spark/bin]$ spark-shell
07.体验Spark-shell
因为Spark使用的scala语言,因此同Scala的使用完全一致。
$scala>1 + 1
输出结果
2