配置spark历史服务出错java.net.ConnectException: Call From hadoop102/192.168.230.102 to hadoop102:8020 failed on connection exception

错误如下:

 

 因为我配置spark的历史纪录文件夹的路径在hdfs上面,spark需要访问hdfs,所以编辑spark-defaults.conf文件的时候,spark.eventLog.dir的值的主机名端口号要和你hadoop中配置文件core-site中fs.defaultFS的值一致,并且文件夹要已经存在。

 

 比如我的如上所示,我把spark.eventLog.dir改为hdfs://hadoop102:9000/directory就行了

posted @   15python  阅读(3022)  评论(0编辑  收藏  举报
编辑推荐:
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
点击右上角即可分享
微信分享提示