大数据踩坑实录
- 大数据平台中JDK版本尽量使用1.8。我开始使用的是openJDK11,结果yarn启动不起来,出现了很多异常,还需要一些特殊的配置。
- 如果hadoop 集群中namenode 使用了HA配置的话,在使用Spark时 需要将core-site.xml和hdfs-site.xml拷贝到Spark的conf路径中,并修改spark-default.conf.template文件。否则会有java.lang.IllegalArgumentException: java.net.UnknownHostException: hacluster 出现。
具体操作步骤:
1.复制Hadoop目录下etc/hadoop中的hdfs-site.xml和core-site.xml文件到spark的conf/目录下;
2.将spark的conf/目录下的spark-default.conf.template更名为spark-default.xml(mv spark-default.conf.template spark-default.xml);
3.在spark-default.xml文件中添加如下配置(具体路径以自己实际路径为准):
spark.files file:///usr/local/soft/spark-1.6.0/conf/hdfs-site.xml,file:///usr/local/soft/spark-1.6.0/conf/core-site.xml
引用链接:[https://blog.csdn.net/sunhaoning/article/details/62214728](https://blog.csdn.net/sunhaoning/article/details/62214728)
分类:
大数据
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET 9 new features-C#13新的锁类型和语义
· Linux系统下SQL Server数据库镜像配置全流程详解
· 现代计算机视觉入门之:什么是视频
· 你所不知道的 C/C++ 宏知识
· 聊一聊 操作系统蓝屏 c0000102 的故障分析
· 不到万不得已,千万不要去外包
· C# WebAPI 插件热插拔(持续更新中)
· 会议真的有必要吗?我们产品开发9年了,但从来没开过会
· 如何打造一个高并发系统?
· 《SpringBoot》EasyExcel实现百万数据的导入导出