java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)

spark提交自己编写的jar的时候如果出现如上的错误,多半是你项目中使用的spark相关jar的版本和你提交到的spark的版本不匹配,如下:

 

项目pom.xml导入的spark-core版本号如下:

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>2.4.5</version>
</dependency>

 

但是你spark集群的版本又是2.11的,项目中使用的jar的版本一定要和spark目录下面的jars里面的版本一致才行

posted @ 2020-02-10 19:02  天蝎(Scorpion)  阅读(4840)  评论(0编辑  收藏  举报