关于Hadoop集群物理及虚拟内存的检测的设置说明
摘要：关于Hadoop集群物理及虚拟内存的检测的设置说明 文章目录 关于Hadoop集群物理及虚拟内存的检测的设置说明写在前面正文不能关闭对物理内存的检测关闭对虚拟内存的检测 参考 写在前面 Linux：CentOS7.5Java：JDK8Hadoop：Hadoop3.1.3场景：离线数仓集群搭建 正文
阅读全文
posted @
2022-10-07 05:30
WHYBIGDATA
阅读(55)
推荐(0) 编辑
flume----HDFS sink 启动时产生大量小文件处理办法
摘要：flume HDFS sink 启动时产生大量小文件处理办法 转载自：https://blog.csdn.net/qq_37714755/article/details/113243139 1.问题背景 通过flume直接上传实时数据到hdfs，会常遇到的一个问题就是小文件，需要调参数来设置，往往在
阅读全文
posted @
2022-09-25 21:16
WHYBIGDATA
阅读(107)
推荐(0) 编辑
MapReduce报错：「MKDirs failed to create file」
摘要：MapReduce报错：「MKDirs failed to create file」 文章目录 MapReduce报错：「MKDirs failed to create file」0. 写在前面1. 程序代码及报错信息输入、输出路径程序代码报错信息 2. 查找资料3. 原因分析4. 参考 0. 写在
阅读全文
posted @
2022-09-22 05:30
WHYBIGDATA
阅读(105)
推荐(0) 编辑
执行MapReduce报错：无法分配内存 (errno=12)
摘要：执行MapReduce报错：无法分配内存 (errno=12) 文章目录 执行MapReduce报错：无法分配内存 (errno=12)0. 写在前面1. 程序介绍2. 报错解决3. 参考 0. 写在前面 Linux: Ubuntu Kylin16.04Hadoop: Hadoop2.7.2IDE:
阅读全文
posted @
2022-09-18 05:30
WHYBIGDATA
阅读(67)
推荐(0) 编辑
使用Maven构建Hadoop工程并实现词频统计案例(详细篇)
摘要：使用Maven构建Hadoop工程并实现词频统计案例(详细篇) 文章目录 使用Maven构建Hadoop工程并实现词频统计案例(详细篇)一、实验环境：二、使用Maven构建Hadoop工程1.解压Maven到自己的安装目录2.配置Maven环境变量3.查看maven版本信息4.使用IDEA创建一个空
阅读全文
posted @
2022-05-12 05:30
WHYBIGDATA
阅读(53)
推荐(0) 编辑
CentOS7.5配置伪分布式环境
摘要：CentOS7.5配置伪分布式环境 文章目录 CentOS7.5配置伪分布式环境1.提前安装JDK和Hadoop并配置好环境变量2.修改配置文件3.格式化NameNode4.启动Hadoop5.Web端查看HDFS信息 1.提前安装JDK和Hadoop并配置好环境变量 vim /etc/profil
阅读全文
posted @
2022-05-11 23:38
WHYBIGDATA
阅读(16)
推荐(0) 编辑
启动hdfs报错：hadoop100 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
摘要：文章目录 一、实验环境说明二、解决方法1.报错信息：2.解决方案：3.配置ssh免密登录: 一、实验环境说明 1.Hadoop3.1.3 2.CentOS7.5 3.伪分布式 二、解决方法 1.报错信息： 2.解决方案： hadoop100 Permission denied (publickey,
阅读全文
posted @
2022-05-10 19:36
WHYBIGDATA
阅读(101)
推荐(0) 编辑
HDFS 自定义实现函数将文件追加到末尾的问题
摘要：HDFS 自定义实现函数将文件追加到末尾的问题： 一、实验环境： Ubuntu16.04Hadoop2.7.1 伪分布式（只有一个DN）Eclipse 二、解决方案 Java代码： import org.apache.hadoop.conf.Configuration; import org.apa
阅读全文
posted @
2022-05-06 22:00
WHYBIGDATA
阅读(48)
推荐(0) 编辑
