【Spark学习笔记】第一章 Windows10(64位)主机上搭建基于IntelliJ IDEA的spark+scala开发环境
Windows10(64位)搭建基于IntelliJ IDEA的spark+scala开发环境
工作中需要用到Spark相关的内容,因此需要搭建一个单机的开发环境,这里将自己的搭建过程记录下来,并提供相关资源的下载链接,有兴趣的朋友可以作为一个参考,不尽之处请多多指教。
第一步,资源下载
链接:http://pan.baidu.com/s/1boVxehx 密码:m360
第二步,在Windows的机器上安装Cywin
Cywin是一个在Windows平台上运行的Unix模拟环境,是Cygnus solutions公司开发的自由软件。您可以在我提供的连接中下载我所使用的Cywin的安装文件,也可以自行在官网上下载:
http://www.cywin.com/
安装的具体步骤请参考如下连接: http://jingyan.baidu.com/article/48a42057accae3a92525045a.html
第三步,安装JDK、安装Scala、spark、Hadoop
这些步骤请参考如下连接:
http://blog.csdn.net/u011513853/article/details/52865076
第四步,安装IntelliJ IDEA并测试scala程序
请参考如下连接:
http://www.cnblogs.com/ppgeneve/p/5158069.html
需要注意的是,spark和scala的版本需要对应好,以及IntelliJ IDEA2016.3.464位的版本需要JDK1.8 如果机器上安装了多个版本的JDK,可以新建系统环境变量IDEA_JDK_64=C:\Program Files\Java\jdk1.8.0_101来解决问题。