01 2022 档案

hue安装连接mysql,hive和hdfs过程和遇到的问题
摘要：1.打开官网 https://docs.gethue.com/administrator/installation/ 查看了下，实在有点乱，我梳理下。 2.依赖 a. yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyr 阅读全文
posted @ 2022-01-13 11:14 夏天换上冬装 阅读(864) 评论(0) 推荐(0) 编辑
Hive hiveserver2 监听端口10000异常 启动失败
摘要：先启动metastore nohup hive --service metastore & 再启动 hiveserver2 nohup hive --service hiveserver2 & 用jps和ps -ef查看进程都启动着，但发现10000端口没有被监听 看不出来问题，打开hive日志 c 阅读全文
posted @ 2022-01-13 10:07 夏天换上冬装 阅读(8039) 评论(0) 推荐(1) 编辑
hadoop3.x源码编译
摘要：1.最重要的参考资料 官方的https://github.com/apache/hadoop/blob/trunk/BUILDING.txt 2.编译环境 Linux系统：Centos7.2 Jdk版本：jdk1.8 cmake版本：3.19 Hadoop版本：3.1.2 Maven版本：3.6.3 阅读全文
posted @ 2022-01-11 19:55 夏天换上冬装 阅读(496) 评论(0) 推荐(0) 编辑
yarn 集群资源为0 问题cluster resource is <memory:0, vCores:0>
摘要：测试集群上一个任务一直夯住，执行了几个小时还没有结束。 我对问题进行了排查 查看yarn页面发现任务被接受了，但没有被分配资源 查看rm日志，也是集群没有任何资源 Application is added to the scheduler and is not yet activated. Skip 阅读全文
posted @ 2022-01-08 22:09 夏天换上冬装 阅读(1632) 评论(0) 推荐(0) 编辑
修改hadoop配置参数导致hive.ql.metadata.HiveException问题
摘要：执行依据sql select * from cities limit 10; 报错 FAILED: SemanticException Unable to determine if hdfs://localhost:9000/user/hive/warehouse/cities is encrypt 阅读全文
posted @ 2022-01-08 20:38 夏天换上冬装 阅读(532) 评论(0) 推荐(0) 编辑
如何在idea 导入hive 源码并执行 client 交互窗口
摘要：1.先编译好hive源码 2.用idea打开hive源码，并build build前可以调整下jvm参数，否则build过程中容易OOM 添加jd/lib下的tools.jar，否则会报 java: Compilation failed: internal java compiler error 3 阅读全文
posted @ 2022-01-08 20:18 夏天换上冬装 阅读(644) 评论(0) 推荐(0) 编辑
idea client 连接hadoop 或hive失败问题排查思路
摘要：梳理下client 连接hadoop 或hive失败问题排查思路 该思路也能举一反三应用在其他服务上 问题举例： 这是使用hive-client代码访问连接失败的问题 我们可以参考官方的排查思路 https://cwiki.apache.org/confluence/display/HADOOP2/ 阅读全文
posted @ 2022-01-08 16:33 夏天换上冬装 阅读(1083) 评论(0) 推荐(0) 编辑
hive3.1.2编译问题解决
摘要：1.配置好jdk1.8和maven3.6.3的环境（linux 和win环境均可，win上可以安装个git，用git bash窗口操作） 2.进入hive3.1.2源码目录 执行 mvn clean package -Pdist -DskipTests -Dmaven.javadoc.skip=tr 阅读全文
posted @ 2022-01-07 16:19 夏天换上冬装 阅读(606) 评论(0) 推荐(0) 编辑