摘要： Arrays.stream().boxed()的使用 文章目录 Arrays.stream().boxed()的使用0. 写在前面1. Arrays.stream()的使用算法：代码：输出结果： 2. boxed()的使用boxed()方法实现在原始类型「primitives」和盒式类型「boxed 阅读全文

摘要： Flume中 File Channel 的优化 文章目录 Flume中 File Channel 的优化@[toc]File Channel 的特点File Channel 的优化索引索引备份 Flume官方优化设计概述（Overview）设计（Design）FileChannel的实现（Imple 阅读全文

摘要： 关于Hadoop集群物理及虚拟内存的检测的设置说明 文章目录 关于Hadoop集群物理及虚拟内存的检测的设置说明写在前面正文不能关闭对物理内存的检测关闭对虚拟内存的检测 参考 写在前面 Linux：CentOS7.5Java：JDK8Hadoop：Hadoop3.1.3场景：离线数仓集群搭建 正文 阅读全文

摘要： Linux好用的管道命令 文章目录 Linux好用的管道命令1. 选取命令grepcut「分割」 2. 排序命令sortwcuniq 3. 划分命令 split4. 参数代换xargs5. 数据处理工具awk 6. sed工具7. 参考 1. 选取命令 grep 用法 grep [-acinv] [ 阅读全文

摘要： Python3操作MongoDB数据库 文章目录 Python3操作MongoDB数据库0. 写在前面1. 安装开源驱动库pymongo2. 参考 0. 写在前面 Linux：Ubuntu Kylin 16.04MongoDB：MongoDB3.2.7Python：Anaconda With Pyt 阅读全文

摘要： 执行Hive查询时出现OOM 文章目录 执行Hive查询时出现OOM写在前面报错：Error: Java heap space实验场景日志信息StckOverFlow的回答 写在前面 Hive执行引擎：Hive on MR 报错：Error: Java heap space 原因： 内存分配问题 解 阅读全文

摘要： flume HDFS sink 启动时产生大量小文件处理办法 转载自：https://blog.csdn.net/qq_37714755/article/details/113243139 1.问题背景 通过flume直接上传实时数据到hdfs，会常遇到的一个问题就是小文件，需要调参数来设置，往往在 阅读全文

摘要： Hive on Tez 的安装配置 文章目录 Hive on Tez 的安装配置0. 写在前面1. 起源2. Tez概述3. 安装部署4. 解决日志Jar包冲突 0. 写在前面 Hadoop：Hadoop-2.9.2Hive：Hive-2.3.7Tez：Tez-0.9.0 1. 起源 Hortonw 阅读全文

摘要： Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask 文章目录 Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask0. 写 阅读全文

摘要： MapReduce报错：「MKDirs failed to create file」 文章目录 MapReduce报错：「MKDirs failed to create file」0. 写在前面1. 程序代码及报错信息输入、输出路径程序代码报错信息 2. 查找资料3. 原因分析4. 参考 0. 写在 阅读全文