Spark1.0.0源码阅读环境搭建（win7）

准备工作：

jdk-7u51-windows-i586.exe
scala-2.10.3.msi
sbt-0.13.2.msi
spark-1.0.0.tgz

scala-SDK-3.0.3-2.10-win32.win32.x86.zip

1.1. 安装JDK

安装jdk-7u51-windows-i586.exe，按默认设置即可。假设安装至目录d:\jdk1.7；

安装结束后，将d:\jdk1.7\bin添加至环境变量PATH中；

1.2. 安装Scala

安装scala-2.10.3.msi，按默认设置即可。假设安装至目录d:\scala2.10.3；

安装结束后可以在cmd窗口执行：

 

可以看到安装的scala版本号；

1.3. 安装sbt

安装sbt-0.13.2.msi，按默认设置即可。假设安装至目录d:\sbt0.13.2；

安装结束后可以在cmd窗口执行：

 

可以看到安装的sbt的版本号；

1.4. 安装Scala-SDK

直接解压scala-SDK-3.0.3-2.10-win32.win32.x86.zip即可。

 

1.5. 为Spark创建eclipse工程文件

直接解压spark-1.0.0.tgz，至工程目录，比如e:\java\spark；

 

在该目录下面执行sbt，编译（耗时较长，耐心等待，直至出现提示符）：

 

在该提示符下面执行eclipse命令，生成eclipse工程文件（这一步耗时更长，耐心等待， 直接再次出现提示符）。

最后打开Scala-SDK，导入Spark工程：

 

2. 问题

在1.5步很可能出现连接超时的问题，如果上外网需要代理，那么需要修改d:\sbt0.13.2\conf\sbtconfig.txt文件。增加如下代理设置：

# Set the java args to high

-Xmx512M

-XX:MaxPermSize=256m

-XX:ReservedCodeCacheSize=128m

 

# Set the extra SBT options

-Dsbt.log.format=true

-Dsbt.boot.directory=D:/sbt0.13.2/sbt/boot/

-Dsbt.ivy.home=D:/sbt0.13.2/sbt

 

-Dhttp.proxyHost=*****

-Dhttp.proxyPort=80

-Dhttps.proxyHost=******

-Dhttps.proxyPort=80

注意http和https都要添加。

如果没有代理还连接超时，那么只能多试几次了，还是能成功的。