Spark环境搭建

Windows下Spark环境搭建

环境准备:

  1. JDK环境配置
  2. Scala环境配置
  3. Spark环境配置
  4. Hadoop环境配置

各个软件的版本:

  1. JDK1.8
  2. Scala2.11.8
  3. Spark 2.2.0
  4. Hadoop 2.6.0

Java环境配置

JDK官网下载JDK1.8,然后配置JAVA_HOME和PATH。

JAVA_HOME:
JAVA_HOME

PATH:

JAVA_PATH

测试:

JAVA_TEST

Scala环境配置

去官网下载Scala,不过官网都是最新版本,可以选择旧版下载,下载完成后进行安装,和JAVA一样配置环境变量

SCALA_HOME:
SCALA_HOME

SCALA_PATH:

SCALA_PATH

SCALA_TEST:

SCALA_TEST

Spark环境配置

去官网下载Spark,要选择对应的版本

Spark

然后解压到一个指定的目录,和上面的一样创建SPARK_HOME和配置path环境变量,接着测试一下

Spark_Shell

因为我配置好了Hadoop,所以Spark看起来没有错,如果没有配置Hadoop,会出现如下错误:

spark_error

Hadoop环境配置

CDH5找到hadoop-2.6.0-cdh5.9.3解压到特定的文件夹,然后配种HADOOP_HOME,解压后的目录如下
Hadoop_Folder
接着需要下载winutils,下载后吧Hadoop的bin目录里的文件已换成winutils的bin目录里的文件,这样整个环境就搭建成功了

Spark环境测试

在终端执行spark-shell命令,然后访问网址localhost:4040,出现如下画面就算成功了,我们就可以进行Spark编程了。
spark_web

posted @ 2018-07-07 10:46  炼金术士  阅读(173)  评论(0编辑  收藏  举报