摘要：
一、hive自己进行优化 对union这样的命令进行了优化 二、数据本地化率 hdfs数据本地化率对hive性能产生影响 在数据大小... 阅读全文
摘要：
一、问题 跑spark或hive脚本报错如下： [INFO] 2020-03-31 11:06:03 -> java.io.IOE... 阅读全文
摘要：
前言 之前公司的 presto 服务一直不是很稳定，随着资源组，配置优化，代码二次开发。presto 服务基本上已经趋于稳定了。这个... 阅读全文
摘要：
前言 再将 hbase 导入 hive 表时，出现行数远远大于实际的数量，排查后发现是hbase 数据中有很多换行， 所以需要使用第... 阅读全文
摘要：
前言 最近公司HADOOP集群突然变慢了，具体的表现为进入hive后，提交查询语句，很久之后才会提交到YARN 集群上。并且Yarn... 阅读全文
摘要：
前言 flink 是什么？ 对于无界和有界的数据流进行有状态计算引擎 常见的数据架构 传统基础数据架构微服务数据架构大数据数据... 阅读全文
摘要：
一、snapshot命令 允许这个文件路径可以创建snapshots： hdfs dfsadmin -allowSnapshot ... 阅读全文
摘要：
一、前言 升级版本: 旧版本：0.220 → 新版本: 0.269 升级目的： 新版本对于老版本做了很多优化，提高服务稳定性。新版本... 阅读全文
摘要：
前言 最近海外es集群进行调整，从3节点变成了单节点。所以需要将集群模式改为单点模式，并需要将es 集群的全部索引副本个数改为0，不... 阅读全文
摘要：
前言: 在使用CDH对 impala 服务进行扩容时，新增节点上面并没有部署 datanode 节点，然后在扩容中遇到了报错，这里整... 阅读全文