一次snapshot迁移引发的Hbase RIT(hbase2.1.0-cdh6.3.0)

 

1. 问题起因

通过snapshot做跨集群数据同步时，在执行拷贝脚本里没有指定所有者及所有组，导致clone时没有权限，客户端卡死。master一直报错，经过一系列操作后，导致RIT异常。

2. 异常记录

• 不指定所有者，默认权限是hdfs:hbase,会导致异常

• 执行clone_snapshot <snapshot_name>,<table_name>时，master异常信息

• 经过一系列操作后(重启、删除hdfs相关目录)出现了RIT：

 

 

  

3. 解决过程

因之前使用hbase1.2.6版本可以通过hbck做修复，但habse2.0之后，大多hbck命令已经无法使用

 

• 于是尝试其他操作：

（1）通过删除hdfs相关目录及zk下hbase目录等操作无效

（2）删除hbase:meta表中相关表记录无效

（3）删除zk下hbase目录，重启无效

4. 最终通过hbck2解决

由于HBCK2已经被剥离出HBase成为了一个单独的项目，如果你想要使用这个工具，需要根据自己HBase的版本，编译源码。

GitHub地址为：https://github.com/apache/hbase-operator-tools.git

（1）下载后在项目根目录下编译：mvn clean install -DskipTests（普通方式编译会报错）

现在使用的版本是hbase2.1.0版本，不支持编译hbck2，所以使用的默认hbase2.1.6编译完成，在hase-hbck2的target目录下可以找到我们最后需要的jar

 

 

• 使用方法：

hbase hbck -j ./hbase-hbck2-1.1.0-SNAPSHOT.jar <命令>

（2）使用assigns方法解决 RIT

hbase hbck -j ./hbase-hbck2-1.1.0-SNAPSHOT.jar unassigns <regionname>

将一个或多个region unassign，返回值是创建的pid则为成功，-1则为失败。

在hbase页面找到rit相关的regionname

• 执行命令，如图返回进程号为1819

• master日志：

• 可以看到rit数减少了一个

• 重复以上操作，rit解决！

（3）在hbase界面上找到Procedure相关进程id释放

hbase hbck -j ./hbase-hbck2-1.1.0-SNAPSHOT.jar bypass <Procedure id>

当rit显示后，hbase依然不正常，hbaseshell无法操作,使用hbase hbck检查显示 Master is initializing

 

• 执行后返回true代表成功，页面会显示RUNNABLE(Bypass)

  

• 可以看到当前procedure还有很多子进程

• 经过大约一小时之后，进程才结束

• 此时页面也显示完成

• 随后消失

• 此时，检查hbase，hbase hbck，显示OK，解决过程到此结束!