Not implemented by the DistributedFileSystem FileSystem implementation
同样是在将模块升级到hadoop2的过程中,在intellij idea中好不容易更换了一大堆jar包,修改了一些代码,提交到集群终于能跑了!但是在偶然间用eclipse导出jar提交却报了以下的错误信息:
说是找不到dfs的实现!(真是一个奇葩的问题)
在网上找了很久,大部分的帖子之类的都是说是引入的hadoop-hdfs-xxx.jar的包没有getScheme()方法,这不是扯淡的么,明明就是添加了这个jar包的build path,而且查看包里面确实有这个方法。
还有些帖子说是FileSystem类冲突了,虽然按照他们的说法没有解决问题,不过总的说来确实也是冲突引起的问题。究其原因,其实就是在build path中还保留着hadoop1里面的hadoop-core-××.jar,这肯定会和添加的hadoop-hdfs-××.jar产生冲突!
---------------------
解决办法:
在build path 中删掉hadoop-core-××.jar就可以了!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· [AI/GPT/综述] AI Agent的设计模式综述