随笔分类 -  hadoop

CDH管理页面组件监控状态显示为问号
摘要：解决办法：重启Cloudera Management Service组件 原因猜测：该组件包含角色各种Monitor、Publisher、Event Server、Reports Manager等等，可能是在启动之初这些组件存在问题，导致组件的监控状态和数据未能更新，故而导致状态数据无法获取，所以组 阅读全文
posted @ 2024-05-06 18:28 风雨咒之无上密籍 阅读(56) 评论(0) 推荐(0) 编辑
hadoop-3.0.0-cdh6.3.2源码编译实践
摘要：1.编译过程 参考：https://blog.mygallop.cn/2020/10/centos/hadoop-cdh6-compile/ 2.问题记录 CDH6.3.2 Hadoop源码位置发生变化，新地址为https://github.com/cloudera/hadoop-commo.old 阅读全文
posted @ 2022-09-21 09:25 风雨咒之无上密籍 阅读(607) 评论(4) 推荐(0) 编辑
window下部署单机hadoop环境
摘要：window本地部署单机hadoop，修改配置文件和脚本如下，只记录关键配置和步骤，仅供参考 hadoop-2.6.5 spark-2.3.3 1.配置文件core-site.xml <configuration> <property> <name>fs.defaultFS</name> <valu 阅读全文
posted @ 2022-06-18 14:14 风雨咒之无上密籍 阅读(367) 评论(0) 推荐(0) 编辑
Exception message: CreateSymbolicLink error (1314): ???????????
摘要：window下运行任务报错：Exception message: CreateSymbolicLink error (1314): ??????????? 报错信息如下： Diagnostics: Exception from container-launch. Container id: cont 阅读全文
posted @ 2022-06-18 13:57 风雨咒之无上密籍 阅读(411) 评论(0) 推荐(0) 编辑
window hadoop yarn任务执行失败：ExitCodeException exitCode=-1073741515
摘要：环境 window server 2019 单机版hadoop3.3.1 和 winutils.exe 异常 winutils.exe task create -m -1 -c -1 continer_2123_231 cmd /c "lanuch_container.bat" ExitCodeEx 阅读全文
posted @ 2021-11-25 16:50 风雨咒之无上密籍 阅读(786) 评论(0) 推荐(0) 编辑
Hadoop3 No FileSystem for scheme "hdfs"
摘要：Hadoop3 No FileSystem for scheme "hdfs" 异常信息： org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs" at org.apache.hadoo 阅读全文
posted @ 2020-12-26 11:15 风雨咒之无上密籍 阅读(2008) 评论(0) 推荐(0) 编辑
org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application
摘要：org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application - HDP2 - YARN 阅读全文
posted @ 2020-12-26 11:13 风雨咒之无上密籍 阅读(664) 评论(0) 推荐(0) 编辑
使用JAAS文件登陆kerberos（zookeeper）
摘要：Kerberos 5 Configuration Since the SPNEGO mechanism will call JGSS, which in turns calls the Kerberos V5 login module to do real works. Kerberos 5 con 阅读全文
posted @ 2020-12-26 11:03 风雨咒之无上密籍 阅读(3802) 评论(0) 推荐(1) 编辑
spark读取空orc文件时报错java.lang.RuntimeException: serious problem at OrcInputFormat.generateSplitsInfo
摘要：问题复现： G:\bigdata\spark-2.3.3-bin-hadoop2.7\bin>spark-shell 2020-12-26 10:20:48 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for you 阅读全文
posted @ 2020-12-26 10:33 风雨咒之无上密籍 阅读(2004) 评论(0) 推荐(0) 编辑
Java连接Hive使用Zookeeper的方式
摘要：Java连接Hive的方式就是通过JDBC的方式来连接，URL为jdbc:hive2://host:port/db;principal=X@BIGDATA.COM等，这种方式是直接连接HiveServer2服务的，但是在现实中，还有一种以Zookeeper的方式去连接，例如： 那么，这种方式的原理是 阅读全文
posted @ 2019-07-27 20:02 风雨咒之无上密籍 阅读(5118) 评论(0) 推荐(0) 编辑
Cloudera-JDBC-Driver-for-Apache-Hive
摘要：Cloudera-JDBC-Driver-for-Apache-Hive-Install-Guide.pdf https://github.com/FlowerBirds/flowerbirds.github.io/blob/master/doc/Cloudera-JDBC-Driver-for-A 阅读全文
posted @ 2019-07-27 19:41 风雨咒之无上密籍 阅读(501) 评论(0) 推荐(0) 编辑
Java使用JDBC连接Hive
摘要：最近一段时间，处理过一个问题，那就是hive jdbc的连接问题，其实也不是大问题，就是url写的不对，导致无法连接。问题在于HiveServer2增加了别的安全验证，导致正常的情况下，传递的参数无法使用，hive连接返回用户为空的错误，具体错误不再详谈，今天就说说jdbc的url书写问题。 正常情 阅读全文
posted @ 2019-07-27 19:38 风雨咒之无上密籍 阅读(12849) 评论(0) 推荐(0) 编辑
Cloudera-JDBC-Driver-for-Impala
摘要：Cloudera-JDBC-Driver-for-Impala-Install-Guide-2-5-5.pdf https://github.com/FlowerBirds/flowerbirds.github.io/blob/master/doc/Cloudera-JDBC-Driver-for- 阅读全文
posted @ 2019-07-27 19:05 风雨咒之无上密籍 阅读(602) 评论(0) 推荐(0) 编辑
Java使用JDBC连接Impala
摘要：前段时间，有一个项目在连接Impala的时候，可以测试连接成功，但是查询不出表。但是通过impala-shell的时候，是可以查询出来的，我觉的这种方式查询出来的话，可能和jdbc的方式不一样，因为impala-shell连接的端口是21000，jdbc连接的端口是21050。我通过beeline的 阅读全文
posted @ 2019-07-27 18:27 风雨咒之无上密籍 阅读(13366) 评论(0) 推荐(0) 编辑
记2018最后一次问题诊断-Spark on Yarn所有任务运行失败
摘要：2018的最后一个工作日，是在调式和诊断问题的过程中度过，原本可以按时下班，毕竟最后一天了，然鹅，确是一直苦苦挣扎。 废话不多说，先描述一下问题：有一套大数据环境，是CDH版本的，总共4台机子，我们的应用程序与大数据集群之前已经集成完毕，调试没有问题，可以运行Spark任务。而与这个集群集成是17年 阅读全文
posted @ 2019-01-01 17:34 风雨咒之无上密籍 阅读(1151) 评论(1) 推荐(1) 编辑

点击右上角即可分享
微信分享提示