随笔分类 - Hbase
Hbase技术交流
摘要：hbase版本：hbase2.1.0-cdh6.3.0 1. 问题描述 Hbase启动后master日志一直有region not online的异常，使用hbase hbck命令检查，显示master is initializing，如图 2. 解决过程 由于无法直接使用hbck命令修复，尝试使用
阅读全文
摘要：Hbase迁移方法较多，本次使用的是逆向恢复，即直接将hbaes数据目录get到本地，并put到新集群的hdfs目录下，并进行元数据恢复，简单粗暴，以下为详细步骤： 1. 在源集群上将hbase表整个目录get到本地磁盘 hdfs dfs -get /hbase/data/namespace/tab
阅读全文
摘要：1. 问题起因 通过snapshot做跨集群数据同步时，在执行拷贝脚本里没有指定所有者及所有组，导致clone时没有权限，客户端卡死。master一直报错，经过一系列操作后，导致RIT异常。 2. 异常记录 不指定所有者，默认权限是hdfs:hbase,会导致异常 执行clone_snapshot
阅读全文
摘要：业务场景： RocketMQ+Storm+Hbase 组件版本： RocketMQ：3.4.6 Storm：1.2.1 Hbase：1.2.1 1. 问题描述 4月15号早上发现业务系统前一天数据量明显偏低，查看系统发现storm入Hbase的TPS很低，甚至为0。 2. 问题定位 通过查看Hbas
阅读全文
摘要：说明： Major Compaction 的作用： 1.将一个Region下的所有StoreFile合并成一个StoreFile文件 2.对于删除、过期、多余版本的数据进行清除 由于MajorCompation期间对集群的磁盘IO占和带宽占用较大，所以线上系统一般会禁用此功能，在集群负载较低时手动执
阅读全文
摘要：业务场景： Kafka+SparkStreaming+Hbase由于数据大量的迁移，再加上业务的改动，新增了很多表，导致rerigon总数接近4万（36个节点） 组件版本： Kafka：2.1.1 Spark：2.2.0-cdh5.12.0 Hbase：1.2.0-cdh5.12.0 问题发现： C
阅读全文
摘要：# 在源集群中创建快照(linux shell) hbase snapshot -t <table_name> -n <snapshot_name> 或(hbase shell) snapshot <table_name>, <snapshot_name> # 将快照从源集群导出到目标集群(linu
阅读全文
