IDEAL基于maven创建spark程序

  今天创建spark项目遇到一个奇葩问题,困扰了好久,特此记录一下。

  1.按照截图创建spark项目

  2.项目创建好后,运行报错:

Error:scalac: error while loading JUnit4, class file '/Applications/develop/jarpackage/org/specs/specs/1.2.5/specs-1.2.5.jar(org/specs/runner/JUnit4.class)' is broken (class java.lang.RuntimeException/error reading Scala signature of JUnit4.class: Scala s

  要想解决这个错误就把自动生成的Test文件整个删除,整个目录结构如下:

  3.运行程序时又报如下错误:

 xception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;

这是因为scala版本和spark版本没有对应起来,可以在如下截图进行配置。

 

posted @ 2018-03-21 17:10  人不疯狂枉一生  阅读(298)  评论(0编辑  收藏  举报