Spark开发环境搭建(IDEA、Scala、SVN、SBT)

软件版本

软件信息
软件名称 版本 下载地址 备注
Java 1.8 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 64位版本的
Scala 2.10.5 https://www.scala-lang.org/download/2.10.5.html  
SBT sbt 1.1.6 https://www.scala-sbt.org/download.html  
SVN 最新版本 https://tortoisesvn.net/downloads.html 64位版本
IDEA   http://www.jetbrains.com/idea/  

 

 

 

 

 

  

 

安装JDK

下载JDK

java版本选择

安装JDK

下载后直接安装就好了,设置一下安装路径:D:\Program Files\Java

安装完后的文件结构(我的版本是171的)

配置环境变量

 创建JAVA_HOME:

 配置path:%JAVA_HOME%\bin;

 

查看安装情况 

打开cmd终端 输入java -version

出现java版本号则表示安装成功

安装Scala

下载Scala

安装Scala

直接解压到D:\Program Files\Scala 

解压后文件结构

配置环境变量

参考JDK环境变量设置

查看安装情况 

输入scala,出现版本号则表示安装成功

安装SVN

 下载SVN

安装SVN

制定安装路径:D:\javaTool

这里有个要注意的地方

command line client tools 选项一定要勾选上,否则IDEA配置的时候会找不到svn.exe

配置环境变量

参考JDK环境变量的配置

查看安装情况

 执行svnserve --help,出现一下页面

桌面任意位置右键,出现

安装SBT

下载SBT

安装SBT

解压到D:\javaTool,文件结构如下

配置环境变量

参考JDK环境变量设置

配置SBT 

repo.repositories

 1 进入D:\javaTool\sbt\conf 下
 2 创建一个文件repo.repositories
 3 编辑以下内容
 4 [repositories]
 5 local
 6 cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/
 7 aliyun: http://maven.aliyun.com/nexus/content/groups/public/
 8 - maven-local: D:/javaTool/mavenLocalRepository
 9 
10 cloudera:这是cdh版本的库,如果使用的是cloudera的hadoop全家桶需要使用这个库
11 aliyun:阿里云的库,国内的比较快
12 maven-local:因为我还配置了一个Maven,所以可以吧maven的本地仓库加进来,如果没有就不需要加了。
13 以上是repo.repositories文件的内容 

修改完后如下

sbtconfig

 1 编辑sbtconfig文件输入以下内容
 2 # Set the java args to high
 3 -Xmx512M
 4 
 5 -XX:MaxPermSize=256m
 6 
 7 -XX:ReservedCodeCacheSize=128m
 8 
 9 # Set the extra SBT options
10 
11 -Dsbt.log.format=true
12 
13 -Dsbt.ivy.home=D:/javaTool/sbt/ivy
14 -Dsbt.global.base=D:/javaTool/sbt/.sbt
15 -Dsbt.repository.config=D:/javaTool/sbt/conf/repo.properties
16 -Dsbt.log.format=true
17 
18 说明:前一部分是jvm的一些配置
19 -Dsbt.ivy.home:是本地库,类似与maven的本地库
20 -Dsbt.repository.config:指定使用的配置文件
21 另外另个还没去查找啥意思 

配置完如下

到目前为止sbt配置部分就结束了,接下来只要到开一个命令行输入sbt,不出意外的话sbt就会构建成功,会生成D:/javaTool/sbt/ivy等等

但是可能是版本原因,配置的本地仓库并没有生效,jar还是下载到了C盘,在查找资料后,发现还有另一个地方需要配置。

D:\javaTool\sbt\bin\sbt-launch.jar

配置文件是在D:\javaTool\sbt\bin\sbt-launch.jar中的\sbt\sbt.boot.properties中(可用rar解压工具直接打开修改并覆盖,记住是用rar打开文件不需要解压,否则弄不回jar了),修改里面的内容:

 1 [scala]
 2   version: ${sbt.scala.version-auto}
 3 
 4 [app]
 5   org: ${sbt.organization-org.scala-sbt}
 6   name: sbt
 7   version: ${sbt.version-read(sbt.version)[1.1.6]}
 8   class: ${sbt.main.class-sbt.xMain}
 9   components: xsbti,extra
10   cross-versioned: ${sbt.cross.versioned-false}
11   resources: ${sbt.extraClasspath-}
12 
13 [repositories]
14   local
15   spring: http://conjars.org/repo/
16   cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/
17   aliyun: http://maven.aliyun.com/nexus/content/groups/public/
18   maven-central
19   sbt-maven-releases: https://repo.scala-sbt.org/scalasbt/maven-releases/, bootOnly
20   sbt-maven-snapshots: https://repo.scala-sbt.org/scalasbt/maven-snapshots/, bootOnly
21   typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
22   sbt-ivy-snapshots: https://repo.scala-sbt.org/scalasbt/ivy-snapshots/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
23 
24 [boot]
25   directory: ${sbt.boot.directory-${sbt.global.base-${user.home}/.sbt}/boot/}
26   lock: ${sbt.boot.lock-true}
27 
28 [ivy]
29   ivy-home: D:/javaTool/sbt/ivy
30   checksums: ${sbt.checksums-sha1,md5}
31   override-build-repos: ${sbt.override.build.repos-false}
32   repository-config: ${sbt.repository.config-${sbt.global.base-${user.home}/.sbt}/repositories} 

修改后如下:

查看安装情况

再终端执行sbt

经测试,此时下载的jar会放在D:/javaTool/sbt/ivy中,即自己设置的本地库中

安装IDEA

因为我的IDEA早就安装完了,所以在网上找了个教程,参照下面教程就可以把IDEA安装完毕

下载IDEA

1 关于JDK版本,在scala的官网上有这么一段话
2 Installation
3 1.Make sure you have the Java 8 JDK (also known as 1.8)
4 o    Run javac -version on the command line and make sure you seejavac 1.8.___
5 o    If you don’t have version 1.8 or higher, install the JDK
6 2.Next, download and install IntelliJ Community Edition
7 3.Then, after starting up IntelliJ, you can download and install the Scala plugin by following the instructions on how to install IntelliJ plugins (search for “Scala” in the plugins menu.)
8 When we create the project, we’ll install the latest version of Scala. Note: If you want to open an existing Scala project, you can click Open when you start IntelliJ.
9 大概意思是 需要1.8以上版本的jdk,所以我们需要安装jdk1.8或以上版本

 

IntelliJ IDEA有免费的社区版(Community Edition)和收费的旗舰版(Ultimate Edition),我安装的是社区版本

安装IDEA

Windows版本安装比较简单,找到我们下载好的exe执行文件,傻瓜式安装,其中的一些选项建议参考下面的

将IDEA安装到:D:\javaTool

操作系统位数选择,大家选择自己操作系统的位数,还有需要安装的一些插件

接下来就是选择我们的菜单,然后点击【install】安装就会进入安装过程

安装完成后,会出现下图【finish】,结束按钮,上面的选项是问我们是否现在打开IDEA

到现在,我们的安装过程就讲完了,我们讲解下如何配置IDEA,假如已经有配置的话,可以直接导入之前的配置,我们选择不导入配置

开始进入配置,首先配置的是IDEA的主题颜色,这里选择了黑色的炫酷色

接下来是设置IDEA的一些默认的plugins,也就是默认的插件,大家根据自己的开发需要选择

选择,一些第三方的编辑方式,例如vim,可以方便我们在键盘上跳舞,如果要进行scala开发 不建议在此处选择scala插件,下载实在太慢了,可以进入idea后在setting中的plugins中下载插件或者添加已下载的插件

接下来就可以直接开始使用我们的IDEA啦

IDEA的配置

Scala插件安装

SBT配置

SVN配置

 项目配置

配置JDK

配置scala

至此配置如果不出意外应该在你的build文件加入相关依赖后,会自动下载相关的jar

最后一点在IDEA中使用SVN

剩下的看着就知道怎么弄了这里就不累赘了

还有更新和提交代码

搞定

遇到的问题(不定期更新)

1、在添加svn项目的时候,由于svn的目录(建议类似的目录不要包含空格和中文)带有中文,

导致项目虽然加进了idea,但是在本地测试的时候由于中文的乱满会导致一些奇怪的错,这个好像是idea的bug,eclipse就没有这样的问题。

解决办法,在导入svn项目的时候,本地存储路径修改为不含有中文和空的的路径即可

 

posted @ 2018-10-17 16:50  lillcol  阅读(2530)  评论(0编辑  收藏  举报