摘要:
1.最重要的参考资料 官方的https://github.com/apache/hadoop/blob/trunk/BUILDING.txt 2.编译环境 Linux系统:Centos7.2 Jdk版本:jdk1.8 cmake版本:3.19 Hadoop版本:3.1.2 Maven版本:3.6.3 阅读全文
摘要:
测试集群上一个任务一直夯住,执行了几个小时还没有结束。 我对问题进行了排查 查看yarn页面发现任务被接受了,但没有被分配资源 查看rm日志,也是集群没有任何资源 Application is added to the scheduler and is not yet activated. Skip 阅读全文
摘要:
执行依据sql select * from cities limit 10; 报错 FAILED: SemanticException Unable to determine if hdfs://localhost:9000/user/hive/warehouse/cities is encrypt 阅读全文
摘要:
1.先编译好hive源码 2.用idea打开hive源码,并build build前可以调整下jvm参数,否则build过程中容易OOM 添加jd/lib下的tools.jar,否则会报 java: Compilation failed: internal java compiler error 3 阅读全文
摘要:
梳理下client 连接hadoop 或hive失败问题排查思路 该思路也能举一反三应用在其他服务上 问题举例: 这是使用hive-client代码访问连接失败的问题 我们可以参考官方的排查思路 https://cwiki.apache.org/confluence/display/HADOOP2/ 阅读全文
摘要:
1.配置好jdk1.8和maven3.6.3的环境(linux 和win环境均可,win上可以安装个git,用git bash窗口操作) 2.进入hive3.1.2源码目录 执行 mvn clean package -Pdist -DskipTests -Dmaven.javadoc.skip=tr 阅读全文