Ubuntu - 安装Spark3.0.0

目标：在Ubuntu20.04上安装单机版Spark3.0，步骤如下：

1 下载Scala 2.12并安装

创建保存的路径并解压到指定文件夹

sudo mkdir /opt/scala  
sudo tar -zxvf scala-2.12.0.tgz -C /opt/scala

添加环境变量

vim ~/.bashrc

export PATH=/opt/scala/scala-2.12.0/bin:$PATH
export SCALA_HOME=/opt/scala/scala-2.12.0

验证

scala -version

 

注意版本相对应：

 

2 下载spark-3.0.0-bin-hadoop3.2 .tgz

 前提是安装了sunjdk11.0.8

 解压并释放到/usr/local/spark下

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz
sudo mkdir /usr/local/spark
sudo mv ./spark-3.0.0-bin-hadoop3.2/* /usr/local/spark

cd /usr/local/spark/bin
./pyspark

lines = sc.textFile("/usr/local/spark/README.md")
lines.count()  
lines.first()

这样就启动spark啦，并且使用sc读取文件，统计文字和显示第一行内容。

或者：

 

使用自带的Spark Shell测试：

./spark-shell

效果如下：

 

 查看当前节点运行情况

./sbin/spark-all.sh

 

出现JAVA_HOME is not set，解决方法，在spark-all.sh中添加JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jdk-11.0.8

然后在浏览器中输入：http://localhost:8080

就可以看到下图所示内容：

 

参考：

Ubuntu下如何解压缩zip,tar,tar.gz,tar.bz2文件

在ubuntu上搭建spark （单机环境）

http://spark.apache.org/docs/latest/quick-start.html