随笔分类 -  spark

Spark源码修改环境搭建
摘要：过程中存在问题： maven编译scala工程报错java.lang.NoClassDefFoundError: scala/reflect/internal/Trees，解决方案看maven编译 1.新建Maven工程sparkdemo-2.3.3 过程略 2.配置pom.xml <?xml ve 阅读全文
posted @ 2022-06-18 15:31 风雨咒之无上密籍 阅读(116) 评论(0) 推荐(0) 编辑
window下部署单机hadoop环境
摘要：window本地部署单机hadoop，修改配置文件和脚本如下，只记录关键配置和步骤，仅供参考 hadoop-2.6.5 spark-2.3.3 1.配置文件core-site.xml <configuration> <property> <name>fs.defaultFS</name> <valu 阅读全文
posted @ 2022-06-18 14:14 风雨咒之无上密籍 阅读(367) 评论(0) 推荐(0) 编辑
Hadoop3 No FileSystem for scheme "hdfs"
摘要：Hadoop3 No FileSystem for scheme "hdfs" 异常信息： org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs" at org.apache.hadoo 阅读全文
posted @ 2020-12-26 11:15 风雨咒之无上密籍 阅读(2008) 评论(0) 推荐(0) 编辑
org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application
摘要：org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application - HDP2 - YARN 阅读全文
posted @ 2020-12-26 11:13 风雨咒之无上密籍 阅读(664) 评论(0) 推荐(0) 编辑
使用JAAS文件登陆kerberos（zookeeper）
摘要：Kerberos 5 Configuration Since the SPNEGO mechanism will call JGSS, which in turns calls the Kerberos V5 login module to do real works. Kerberos 5 con 阅读全文
posted @ 2020-12-26 11:03 风雨咒之无上密籍 阅读(3802) 评论(0) 推荐(1) 编辑
spark读取空orc文件时报错java.lang.RuntimeException: serious problem at OrcInputFormat.generateSplitsInfo
摘要：问题复现： G:\bigdata\spark-2.3.3-bin-hadoop2.7\bin>spark-shell 2020-12-26 10:20:48 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for you 阅读全文
posted @ 2020-12-26 10:33 风雨咒之无上密籍 阅读(2004) 评论(0) 推荐(0) 编辑
Spark3.0 preview预览版尝试GPU调用（本地模式不支持GPU）
摘要：Spark3.0 preview预览版可以下载使用，地址：https://archive.apache.org/dist/spark/spark-3.0.0-preview/，pom.xml也可以进行引用，如下： 注意：目前阿里云镜像部分包还没有（2019年11月10日，spark-launcher 阅读全文
posted @ 2019-11-10 01:14 风雨咒之无上密籍 阅读(1617) 评论(6) 推荐(0) 编辑
记2018最后一次问题诊断-Spark on Yarn所有任务运行失败
摘要：2018的最后一个工作日，是在调式和诊断问题的过程中度过，原本可以按时下班，毕竟最后一天了，然鹅，确是一直苦苦挣扎。 废话不多说，先描述一下问题：有一套大数据环境，是CDH版本的，总共4台机子，我们的应用程序与大数据集群之前已经集成完毕，调试没有问题，可以运行Spark任务。而与这个集群集成是17年 阅读全文
posted @ 2019-01-01 17:34 风雨咒之无上密籍 阅读(1151) 评论(1) 推荐(1) 编辑

点击右上角即可分享
微信分享提示