【Spark学习笔记】第一章 Windows10(64位)主机上搭建基于IntelliJ IDEA的spark+scala开发环境

 

 Windows10(64位)搭建基于IntelliJ IDEA的spark+scala开发环境

    工作中需要用到Spark相关的内容,因此需要搭建一个单机的开发环境,这里将自己的搭建过程记录下来,并提供相关资源的下载链接,有兴趣的朋友可以作为一个参考,不尽之处请多多指教。

第一步,资源下载

 链接:http://pan.baidu.com/s/1boVxehx 密码:m360

 

第二步,在Windows的机器上安装Cywin

    Cywin是一个在Windows平台上运行的Unix模拟环境,是Cygnus solutions公司开发的自由软件。您可以在我提供的连接中下载我所使用的Cywin的安装文件,也可以自行在官网上下载:

http://www.cywin.com/

安装的具体步骤请参考如下连接: http://jingyan.baidu.com/article/48a42057accae3a92525045a.html

第三步,安装JDK、安装Scala、spark、Hadoop

这些步骤请参考如下连接:

http://blog.csdn.net/u011513853/article/details/52865076

第四步,安装IntelliJ IDEA并测试scala程序

请参考如下连接:

http://www.cnblogs.com/ppgeneve/p/5158069.html

需要注意的是,spark和scala的版本需要对应好,以及IntelliJ IDEA2016.3.464位的版本需要JDK1.8 如果机器上安装了多个版本的JDK,可以新建系统环境变量IDEA_JDK_64=C:\Program Files\Java\jdk1.8.0_101来解决问题。

 

 

 

 

posted on 2017-02-24 10:47  包大人  阅读(148)  评论(0编辑  收藏  举报

导航