在win10环境下IED配置spark项目

eclipse在对spark的支持上并不友好，所以需要新下载并安装IntelliJ IDEA 2019.1。我下载安装的是专业版的，直接在网上搜索了破解码进行破解。

 

1、 配置java和scala

IDE的配置是我陌生的，所以可能会有一些错误的多余的操作。

安装scala插件：选择Plugins-搜索scala—安装scala插件—重启

重启后选择新建项目，可以在项目选择中找到scala。我新建的是scala-IDE项目，在新建界面选择java SDK（java jdk目录）和SCALA SDK（scala jdk目录）

 

2、 配置spark

选择File—project Structure—Libraries—选择中间那栏上面的加号—java，然后在跳出界面选择spark解压目录下的jars包

 

 

接下来就是报错更改之旅：

具体代码如下

 

报错1：java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable

解决方案：https://blog.csdn.net/weixin_40371587/article/details/80684898

是scala版本不对造成的，基于上一个随笔进行版本更改

 

报错2：org.apache.spark.SparkException: A master URL must be set in your configuration

 

 

 

解决方案：看字面意思，是因为没有指定master url的锅，由于我这是单机的spqrk，可以使用本地作为master，即-Dspark.master=local

https://blog.csdn.net/qq_21383435/article/details/77200167

 

 

 

最后跑通了