随笔 - 22  文章 - 1  评论 - 1  阅读 - 16528

spark版本不支持(降版本打包)

在做项目的时候代码已经更新为hadoop 2.7  spark 2.1 scala 2.11.8版本,但是服务器版本使用的是hadoop2.6 spark1.6 以及scala2.10.6版本,,主程序包为main.jar启动程序使用 java -jar xxx.jar

但是使用过程中 报错

Exception in thread "main" java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljav
a/lang/Object;)Lscala/runtime/ObjectRef;

此错误为版本不同造成

修改pom.xml,将spark修改为1.6 scala为2.11.8(因为pom.xml公司服务器配置,所以只需要配置spark版本即可),hadoop修改为2.7版本,打包xxx.java 使用java -jar xxx.jar 运行,,此时可以运行还报版本错误,,此时需要将main.jar重新打包,但是spark1.6中没有sparkSession 类,所以我将spark更换为2.1.0版本,此时打包成功,正常运行

posted on   郝心人forever  阅读(660)  评论(0编辑  收藏  举报
编辑推荐:
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· C# 深度学习:对抗生成网络(GAN)训练头像生成模型
· .NET 适配 HarmonyOS 进展
阅读排行:
· 如何给本地部署的DeepSeek投喂数据,让他更懂你
· 超详细,DeepSeek 接入PyCharm实现AI编程!(支持本地部署DeepSeek及官方Dee
· 用 DeepSeek 给对象做个网站,她一定感动坏了
· .NET 8.0 + Linux 香橙派,实现高效的 IoT 数据采集与控制解决方案
· .NET中 泛型 + 依赖注入 的实现与应用
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示