上一页 1 2 3 4 5 6 ··· 10 下一页
摘要: 1.最重要的参考资料 官方的https://github.com/apache/hadoop/blob/trunk/BUILDING.txt 2.编译环境 Linux系统:Centos7.2 Jdk版本:jdk1.8 cmake版本:3.19 Hadoop版本:3.1.2 Maven版本:3.6.3 阅读全文
posted @ 2022-01-11 19:55 夏天换上冬装 阅读(483) 评论(0) 推荐(0) 编辑
摘要: 测试集群上一个任务一直夯住,执行了几个小时还没有结束。 我对问题进行了排查 查看yarn页面发现任务被接受了,但没有被分配资源 查看rm日志,也是集群没有任何资源 Application is added to the scheduler and is not yet activated. Skip 阅读全文
posted @ 2022-01-08 22:09 夏天换上冬装 阅读(1456) 评论(0) 推荐(0) 编辑
摘要: 执行依据sql select * from cities limit 10; 报错 FAILED: SemanticException Unable to determine if hdfs://localhost:9000/user/hive/warehouse/cities is encrypt 阅读全文
posted @ 2022-01-08 20:38 夏天换上冬装 阅读(416) 评论(0) 推荐(0) 编辑
摘要: 1.先编译好hive源码 2.用idea打开hive源码,并build build前可以调整下jvm参数,否则build过程中容易OOM 添加jd/lib下的tools.jar,否则会报 java: Compilation failed: internal java compiler error 3 阅读全文
posted @ 2022-01-08 20:18 夏天换上冬装 阅读(610) 评论(0) 推荐(0) 编辑
摘要: 梳理下client 连接hadoop 或hive失败问题排查思路 该思路也能举一反三应用在其他服务上 问题举例: 这是使用hive-client代码访问连接失败的问题 我们可以参考官方的排查思路 https://cwiki.apache.org/confluence/display/HADOOP2/ 阅读全文
posted @ 2022-01-08 16:33 夏天换上冬装 阅读(1015) 评论(0) 推荐(0) 编辑
摘要: 1.配置好jdk1.8和maven3.6.3的环境(linux 和win环境均可,win上可以安装个git,用git bash窗口操作) 2.进入hive3.1.2源码目录 执行 mvn clean package -Pdist -DskipTests -Dmaven.javadoc.skip=tr 阅读全文
posted @ 2022-01-07 16:19 夏天换上冬装 阅读(577) 评论(0) 推荐(0) 编辑
摘要: 首先什么是commented out code,其实就是就是被注解掉的代码,直观来看例子 this.test = function(req, res, next) { // if (foo) { // return ‘1’; // } else if (bar) { // return ‘2’; / 阅读全文
posted @ 2021-12-13 13:39 夏天换上冬装 阅读(6223) 评论(0) 推荐(0) 编辑
摘要: hdfs的两种操作方式hadoop fs和hdfs dfs 脚本都是调用的同一个接口 if [ "$COMMAND" = "fs" ] ; then CLASS=org.apache.hadoop.fs.FsShell elif [ "$COMMAND" = "dfs" ] ; then CLASS 阅读全文
posted @ 2021-12-02 16:56 夏天换上冬装 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 1:用户向YARN中提交应用程序,其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 2:ResourceManager为该应用程序分配第一个Container,并与对应的Node-Manager通信,要求它在这个 Container中启动应用 阅读全文
posted @ 2021-12-02 16:39 夏天换上冬装 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 需求: 统计最热门的课程Top10 http://bigdata.com/course/458655.html => 458655 http://bigdata.com/course/458655/2.html?a=b&c=d => 458655_2 解析后再统计课程Top10 1.使用 MockC 阅读全文
posted @ 2021-11-18 15:42 夏天换上冬装 阅读(23) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 10 下一页