Spark开发环境搭建(IDEA、Scala、SVN、SBT)
软件版本
软件名称 | 版本 | 下载地址 | 备注 |
Java | 1.8 | https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html | 64位版本的 |
Scala | 2.10.5 | https://www.scala-lang.org/download/2.10.5.html | |
SBT | sbt 1.1.6 | https://www.scala-sbt.org/download.html | |
SVN | 最新版本 | https://tortoisesvn.net/downloads.html | 64位版本 |
IDEA | http://www.jetbrains.com/idea/ |
安装JDK
下载JDK
安装JDK
下载后直接安装就好了,设置一下安装路径:D:\Program Files\Java
安装完后的文件结构(我的版本是171的)
配置环境变量
创建JAVA_HOME:
配置path:%JAVA_HOME%\bin;
查看安装情况
打开cmd终端 输入java -version
出现java版本号则表示安装成功
安装Scala
下载Scala
安装Scala
直接解压到D:\Program Files\Scala
解压后文件结构
配置环境变量
参考JDK环境变量设置
查看安装情况
输入scala,出现版本号则表示安装成功
安装SVN
下载SVN
安装SVN
制定安装路径:D:\javaTool
这里有个要注意的地方
command line client tools 选项一定要勾选上,否则IDEA配置的时候会找不到svn.exe
配置环境变量
参考JDK环境变量的配置
查看安装情况
执行svnserve --help,出现一下页面
桌面任意位置右键,出现
安装SBT
下载SBT
安装SBT
解压到D:\javaTool,文件结构如下
配置环境变量
参考JDK环境变量设置
配置SBT
repo.repositories
1 进入D:\javaTool\sbt\conf 下 2 创建一个文件repo.repositories 3 编辑以下内容 4 [repositories] 5 local 6 cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/ 7 aliyun: http://maven.aliyun.com/nexus/content/groups/public/ 8 - maven-local: D:/javaTool/mavenLocalRepository 9 10 cloudera:这是cdh版本的库,如果使用的是cloudera的hadoop全家桶需要使用这个库 11 aliyun:阿里云的库,国内的比较快 12 maven-local:因为我还配置了一个Maven,所以可以吧maven的本地仓库加进来,如果没有就不需要加了。 13 以上是repo.repositories文件的内容
修改完后如下
sbtconfig
1 编辑sbtconfig文件输入以下内容 2 # Set the java args to high 3 -Xmx512M 4 5 -XX:MaxPermSize=256m 6 7 -XX:ReservedCodeCacheSize=128m 8 9 # Set the extra SBT options 10 11 -Dsbt.log.format=true 12 13 -Dsbt.ivy.home=D:/javaTool/sbt/ivy 14 -Dsbt.global.base=D:/javaTool/sbt/.sbt 15 -Dsbt.repository.config=D:/javaTool/sbt/conf/repo.properties 16 -Dsbt.log.format=true 17 18 说明:前一部分是jvm的一些配置 19 -Dsbt.ivy.home:是本地库,类似与maven的本地库 20 -Dsbt.repository.config:指定使用的配置文件 21 另外另个还没去查找啥意思
配置完如下
到目前为止sbt配置部分就结束了,接下来只要到开一个命令行输入sbt,不出意外的话sbt就会构建成功,会生成D:/javaTool/sbt/ivy等等
但是可能是版本原因,配置的本地仓库并没有生效,jar还是下载到了C盘,在查找资料后,发现还有另一个地方需要配置。
D:\javaTool\sbt\bin\sbt-launch.jar
配置文件是在D:\javaTool\sbt\bin\sbt-launch.jar中的\sbt\sbt.boot.properties中(可用rar解压工具直接打开修改并覆盖,记住是用rar打开文件不需要解压,否则弄不回jar了),修改里面的内容:
1 [scala] 2 version: ${sbt.scala.version-auto} 3 4 [app] 5 org: ${sbt.organization-org.scala-sbt} 6 name: sbt 7 version: ${sbt.version-read(sbt.version)[1.1.6]} 8 class: ${sbt.main.class-sbt.xMain} 9 components: xsbti,extra 10 cross-versioned: ${sbt.cross.versioned-false} 11 resources: ${sbt.extraClasspath-} 12 13 [repositories] 14 local 15 spring: http://conjars.org/repo/ 16 cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/ 17 aliyun: http://maven.aliyun.com/nexus/content/groups/public/ 18 maven-central 19 sbt-maven-releases: https://repo.scala-sbt.org/scalasbt/maven-releases/, bootOnly 20 sbt-maven-snapshots: https://repo.scala-sbt.org/scalasbt/maven-snapshots/, bootOnly 21 typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly 22 sbt-ivy-snapshots: https://repo.scala-sbt.org/scalasbt/ivy-snapshots/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly 23 24 [boot] 25 directory: ${sbt.boot.directory-${sbt.global.base-${user.home}/.sbt}/boot/} 26 lock: ${sbt.boot.lock-true} 27 28 [ivy] 29 ivy-home: D:/javaTool/sbt/ivy 30 checksums: ${sbt.checksums-sha1,md5} 31 override-build-repos: ${sbt.override.build.repos-false} 32 repository-config: ${sbt.repository.config-${sbt.global.base-${user.home}/.sbt}/repositories}
修改后如下:
查看安装情况
再终端执行sbt
经测试,此时下载的jar会放在D:/javaTool/sbt/ivy中,即自己设置的本地库中
安装IDEA
因为我的IDEA早就安装完了,所以在网上找了个教程,参照下面教程就可以把IDEA安装完毕
下载IDEA
1 关于JDK版本,在scala的官网上有这么一段话 2 Installation 3 1.Make sure you have the Java 8 JDK (also known as 1.8) 4 o Run javac -version on the command line and make sure you seejavac 1.8.___ 5 o If you don’t have version 1.8 or higher, install the JDK 6 2.Next, download and install IntelliJ Community Edition 7 3.Then, after starting up IntelliJ, you can download and install the Scala plugin by following the instructions on how to install IntelliJ plugins (search for “Scala” in the plugins menu.) 8 When we create the project, we’ll install the latest version of Scala. Note: If you want to open an existing Scala project, you can click Open when you start IntelliJ. 9 大概意思是 需要1.8以上版本的jdk,所以我们需要安装jdk1.8或以上版本
IntelliJ IDEA有免费的社区版(Community Edition)和收费的旗舰版(Ultimate Edition),我安装的是社区版本
安装IDEA
Windows版本安装比较简单,找到我们下载好的exe执行文件,傻瓜式安装,其中的一些选项建议参考下面的
将IDEA安装到:D:\javaTool
操作系统位数选择,大家选择自己操作系统的位数,还有需要安装的一些插件
接下来就是选择我们的菜单,然后点击【install】安装就会进入安装过程
安装完成后,会出现下图【finish】,结束按钮,上面的选项是问我们是否现在打开IDEA
到现在,我们的安装过程就讲完了,我们讲解下如何配置IDEA,假如已经有配置的话,可以直接导入之前的配置,我们选择不导入配置
开始进入配置,首先配置的是IDEA的主题颜色,这里选择了黑色的炫酷色
接下来是设置IDEA的一些默认的plugins,也就是默认的插件,大家根据自己的开发需要选择
选择,一些第三方的编辑方式,例如vim,可以方便我们在键盘上跳舞,如果要进行scala开发 不建议在此处选择scala插件,下载实在太慢了,可以进入idea后在setting中的plugins中下载插件或者添加已下载的插件
接下来就可以直接开始使用我们的IDEA啦
IDEA的配置
Scala插件安装
SBT配置
SVN配置
项目配置
配置JDK
配置scala
至此配置如果不出意外应该在你的build文件加入相关依赖后,会自动下载相关的jar
最后一点在IDEA中使用SVN
剩下的看着就知道怎么弄了这里就不累赘了
还有更新和提交代码
搞定
遇到的问题(不定期更新)
1、在添加svn项目的时候,由于svn的目录(建议类似的目录不要包含空格和中文)带有中文,
导致项目虽然加进了idea,但是在本地测试的时候由于中文的乱满会导致一些奇怪的错,这个好像是idea的bug,eclipse就没有这样的问题。
解决办法,在导入svn项目的时候,本地存储路径修改为不含有中文和空的的路径即可