随笔分类 - 大数据
hadoop/hive/flink
摘要：是因为 WSL 有自己的 IP 地址， 在 cmd 下执行 wsl hostname -I，可以得到 WSL 的 IP 地址，用这个地址去访问就可以了
阅读全文
摘要：报错只有：java.net.ConnectException: Connection refused 这样简短的几行。 其真实原因是（在 windows11 下），WSL 有自己的（内部）IP 地址。 在 WSL 下执行 ip addr，然后在 cmd 下执行 ipconfig /all，就能看到，
阅读全文
摘要：前提是已经安装好 hadoop，并配置好 JAVA_HOME HADOOP_HOME 变量 1. 下载 从官方下载页面下载相应的软件包 https://hive.apache.org/downloads.html 1.1 解压至 /usr/local tar -xzvf apache-hive-2.
阅读全文
摘要：package com.xjr7670; import com.aliyun.odps.*; import com.aliyun.odps.account.Account; import com.aliyun.odps.account.AliyunAccount; import com.aliyun
阅读全文
摘要：报错如图： 代码很简单，就是官方的示例： 经过多次搜索无果后，想到可能是引用了多个不同 jar 包导致的，于是查看左侧的 External Libraries，发现确实有两个不同的 spark-sql 包： 这是 ${SPARK_HOME}/jars 下的 这是 maven 引进来的，可以看到版本不
阅读全文
摘要：在学习Spark的过程中，写程序统计单词数量的时候，突然想把统计后的（单词, 次数) 这样的集合根据各单词出现的次数从高到低倒序排列。于是在网上查了下有sortBy()函数可以实现。试了下没问题。然而由于单词过多，排序后打印出来的结果过长，于是想取前 10 条来验证，自然地想到使用top()函数，在
阅读全文
摘要：使用beeline 连接 hive 报标题所示错误。 连接语句： !connect jdbc:hive2://localhost:10000/default 在输入用户名和密码后，出现错误： 20/10/24 20:28:38 [main]: WARN jdbc.HiveConnection: Fa
阅读全文
摘要：包括 namenode 和 datanode 在内都没有启动。JPS查看不到除了它本身之外的任何进程 查看 out 文件内容如下： 1 2020-10-19 20:10:50,206 ERROR [main] namenode.NameNode (NameNode.java:1587) - Fail
阅读全文
摘要：主要出错信息： > Could not resolve all artifacts for configuration ':classpath'. > Could not resolve com.cinnober.gradle:semver-git:2.2.3. Required by: proje
阅读全文
摘要：当运行中出现Container is running beyond physical memory这个问题出现主要是因为物理内存不足导致的，在执行mapreduce的时候，每个map和reduce都有自己分配到内存的最大值，当map函数需要的内存大于这个值就会报这个错误，解决方法： 在mapredu
阅读全文
摘要：现象： 执行 start-yarn.sh 后再执行JPS 发现没有 resourcemanager 进程，同时 localhost:8080 页面也打不开，查看日志文件 logs/yarn-hadoop-resourcemanager-Cavin-Y7000.log 发现报错信息中有如下语句： or
阅读全文
