安装spark的环境,
亲测可用。
Spark是Hadoop的子项目。 因此,最好将Spark安装到基于Linux的系统中。 以下步骤说明如何安装Apache Spark。
-
步骤1:验证Java安装
Java安装是安装Spark的强制性要求之一。 尝试使用以下命令验证JAVA版本。
$java -version
如果Java已经,安装在系统上,你能看到以下响应
java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果您没有在系统上安装Java,请在继续下一步之前安装Java。
- 步骤2:下载Scala
通过访问以下链接下载Scala的最新版本:下载Scala。 对于本教程,我们使用scala-2.11.6版本。 下载后,您将在下载文件夹中找到Scala tar文件。
提取Scala tar文件
键入以下命令以解压缩Scala tar文件。
使用以下命令将Scala软件文件移动到相应的目录(/ usr / local / scala)。
- 步骤3:安装Scala
提取Scala tar文件
键入以下命令以解压缩Scala tar文件。
$ tar xvf scala-2.11.6.tgz
移动Scala软件文件
使用以下命令将Scala软件文件移动到相应的目录(/ usr / local / scala)。
$ tar xvf scala-2.11.6.tgz
移动Scala软件文件
使用以下命令将Scala软件文件移动到相应的目录(/ usr / local / scala)。
$ su – Password: # cd /home/Hadoop/Downloads/ # mv scala-2.11.6 /usr/local/scala # exit
为Scala设置PATH
使用以下命令设置Scala的PATH。
$ export PATH = $PATH:/usr/local/scala/bin
验证Scala安装
安装后,最好验证它。 使用以下命令验证Scala安装。$scala -version
如果Scala是已经安装在系统中,你能看到以下响应
Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
- 步骤4:下载Apache Spark
- 步骤5:安装Spark
提取Spark tar
以下命令用于提取spark tar文件。
$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz
移动Spark tar软件文件
以下命令用于将Spark软件文件移动到相应的目录(/ usr / local / spark)。
$ su – Password: # cd /home/Hadoop/Downloads/ # mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark # exit
设置Spark的环境
将以下行添加到〜/ .bashrc文件。 这意味着将spark软件文件所在的位置添加到PATH变量。
export PATH = $PATH:/usr/local/spark/bin
使用以下命令获取〜/ .bashrc文件。
$ source ~/.bashrc
-
步骤6:验证Spark安装
$spark-shell
如果spark安装成功,那么您将找到以下输出。
Spark assembly has been built with Hive, including Datanucleus jars on classpath Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. Welcome to ____ __ / __/__ ___ _____/ /__ _ / _ / _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_ version 1.4.0 /_/ Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) Type in expressions to have them evaluated. Spark context available as sc scala>