在 Ubuntu14.04 上搭建 Spark 2.3.1(latest version)

搭建最新的 Spark 2.3.1 。

首先需要下载最新版 jdk 。目前 2.3.1 需要 8.0 及其以上 jdk 才可以允许。 所以如果你没有 8.0  jdk 安装好了之后会报错。不要尝试安装 8.0 之后的版本 我尝试了这个版本使用

jdk 10 会有问题，所以老老实实使用 jdk8.0

Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main : Unsupported major.minor version 52.0

 

去往 http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载 jdk 8.

我们可以下载 rpm 包，然后使用 ubuntu 的 alien 命令安装，这个命令可以把 rpm 包转成 debian 包之后进行安装非常方便。使用命令

sudo alien -i -c -v jdkxxxxx.rpm 
进行安装

然后将其地址加入到用户的环境变量里面 bashrc zshrc xxxxx

export JAVA_HOME=/usr/java/jdk8.xxxx

这里注意一下，安装完了之后可能会有一些信息，有些是成功之后的提醒，有一些是警告可以看一下，我安装完毕之后没有出现什么问题。

 

下载最新版 spark

http://spark.apache.org/downloads.html 

这里我下载了最新的 spark2.3.1 | Pre-built for Hadoop2.7 and later

解压 

tar xvf sparkxxxx

 

然后使用命令

./bin/run-example SparkPi 10 测试是否安装成功

 

最后再去 spark-shell 看下是否能正常启动交互程序。

我之前尝试使用最新的 jdk10 ，在验证 pi 程序计算的时候是可以正常运行的，但是无法正常进入交互程序。装回 jdk8 就正常了所以 jdk 的版本要注意。

 

Reference:

https://help.ubuntu.com/community/RPM/AlienHowto  Alien 用法

http://www.oracle.com/technetwork/java/javase/downloads/index.html  JDK 列表

http://spark.apache.org/downloads.html  Spark 官方下载源