11 2020 档案
摘要：1、异常信息 trying to load more than 2048 hfiles to family 2、分析 在做hbase数据迁移的时候，源hbase集群的某张表hfile文件数超过了2048，由于在配置文件里面配置的值刚好为2048，导致加载的时候，失败。 3、解决 修改hbase配置文
阅读全文
摘要：1.1 现象 通过hbase shell disable表，显示表以及关闭，但是使用drop table_name，却显示表状态为disableing，不能正常被删除。 1.2 分析 1）通过以下命令查看表状态： hbase> is_disabled table_name false hbase>
阅读全文
摘要：1、异常信息 使用hbase shell修改hbase表或者创建表的时候，报如下信息： 从上面的异常可以看出，该create语句执行了600多秒，导致异常发生 2、解决 在hbase的配置文件里面添加如下参数： hbase.client.sync.wait.timeout.msec 3、shell
阅读全文
摘要：1、环境说明 Hadoop版本： 3.1.4 hbase 版本： 1.2.6 timeserver 版本 2.0 2、vts1.0/vts1.5与vts2.0 vts1.x缺点： 1、不支持分布式收集。 2、收集器和读取器是单实例。 3、存储使用的是leveldb。 vts2 1、借助与nodema
阅读全文
摘要：1、某个应用程序的端口出现大量的close_wait,同时在应用程序里面出现大量的Too many open files。 这个问题是由于server端没有正常的关闭连接导致系统资源大量的占用，从而导致出现Too many open files，进而系统崩溃。 2、尝试解决办法： 修改系统进程可以打
阅读全文
摘要：1、现象 通过distcp + bulkload方式进行hbase数据迁移的时候，由于开启的线程数过多，导致在hbase shell里面创建表的时候，提示操作系统不能分配内存，现象： 2、分析 出现这种现象的原因就是操作系统内存不足。 3、解决 降低数据迁移的并发线程数 2）清理操作系统缓存(临时作
阅读全文
摘要：前言 HDP version： 3.x HIVE version： 3.x 问题描述 使用hdp版本的集群服务，当安装好spark以后，执行spark.sql ,不能查询到hive的数据库，只查询到default数据库，说明spark没有连接到hive。 问题现象 分析： 1、通过上图可以看到spa
阅读全文
摘要：HDP version： 3.x 1、hive执行sql慢 执行sql hive通过Tez引擎执行如下的sql语句： insert overwrite select .... 整个执行过程消耗十分钟左右，平时任务2-3分钟可以完成，可以明显看到，任务调度出现问题了。 分析 上述的sql语句对应两个m
阅读全文
摘要：一、安装前提 1、对于Hbase来说，安装方式与Hadoop类似，分为单节点安装、伪分布式安装和完全分布式安装。 单节点安装：单节点安装不依赖与Hadoop，使用本地的文件系统，所有的进程都在一个jvm里面，通常用于测试，这里就不进行演示了。 伪分布式安装：伪分布式安装通常也是用于测试，进程存在与独
阅读全文
摘要：一、安装 操作系统版本：centos7.3 节点部署情况 | 主机 | 角色 | 数据磁盘 | | | | | | Hadoop1 | master | | | Hadoop2 | matelogger、chunkserver | /dev/sdb,/dev/sdc | | hadoop3 | cl
阅读全文
