摘要：
1、现象 通过distcp + bulkload方式进行hbase数据迁移的时候，由于开启的线程数过多，导致在hbase shell里面创建表的时候，提示操作系统不能分配内存，现象： 2、分析 出现这种现象的原因就是操作系统内存不足。 3、解决 降低数据迁移的并发线程数 2）清理操作系统缓存(临时作 阅读全文
摘要：
前言 HDP version： 3.x HIVE version： 3.x 问题描述 使用hdp版本的集群服务，当安装好spark以后，执行spark.sql ,不能查询到hive的数据库，只查询到default数据库，说明spark没有连接到hive。 问题现象 分析： 1、通过上图可以看到spa 阅读全文
摘要：
HDP version： 3.x 1、hive执行sql慢 执行sql hive通过Tez引擎执行如下的sql语句： insert overwrite select .... 整个执行过程消耗十分钟左右，平时任务2-3分钟可以完成，可以明显看到，任务调度出现问题了。 分析 上述的sql语句对应两个m 阅读全文