Idea 编写 Spark 示例代码并打包成Jar

 说明：本人是在Linux下搭建的单机Spark环境，也是在Linux下使用Idea14.02进行代码编辑

     1. 打开IDEA，在欢迎界面从右下角的Configure -> Plugins进入，安装Scala插件

 

    2.从左下角的Install JetBrains plugin进入，再在搜索输入框中输入 scala，由于我已经装好scala插件了，所以右侧出现的是Uninstall plugin ;若没有装好scala插件，应该会出现 Install plugin按钮，点击安装，装好后会要求重启IDEA.

 

 

3.配置默认JDK，如下图

 

进入后会看到 No SDK

点击New

找到你的Java JDK所在目录

 

4.新建项目

 

5.选择Scala 和 SBT。其实我后面并没有对SBT的配置文件进行编辑，之前编辑过sbt的配置文件，但是由于网络原因，部分包一直下载不下来，所以干脆不用sbt了，我只是为了让它自动生成一些目录而已。

 

 

6.在如图所示的scala目录中新建scala object文件

 

 

输入相应的测试代码：

 

7.打包相关的配置

 

找到spark安装目录下的lib目录，也可以从其它机器上将需要的jar拷贝过来：

 

 

点

击Main Class后面的按钮，选择main函数

 

 

下图中右侧蓝色的包可以删掉，只留最后的  'sparktest' compile output那一项即可，否则打好的包会比较大，我之前只写了几行代码，但是把scala和spark相关的包都包含进去了，所以一个包有100多M。

 

8.开始打包

 

打包好后，应该就能看到对应的ja包了

9.进行测试：

 

bin/spark-submit --master spark://macor:7077 --class getSum /root/IdeaProjects/SParkTest/out/artifacts/sparktest_jar/sparktest.jar

 

 

 

执行正确：