Hbase数据不一致修复

Region数据不一致是什么

一致性是指Region在meta中的meta表信息、在线Regionserver的Region信息和hdfs的Regioninfo的Region信息的一致。

 

 

HBCK检查什么

a.集群所有region都被assign，且被deploy到唯一一台regionserver上

b.该region的状态在内存、hbase:meta表及zk上是否一致

c.对集群中任意一张表，每个rowkey都仅能存在于一个region区间

 

一、局部的修复

1如果出现数据不一致，修复是要最大限度的降低可能出现的风险，使用以下命令对region进行修复风险较低：

 

1.1 hbase  hbck -fixAssignments

命令解释：修复region 没有分配（unassigned）,错误分配（incorrectly assigned）以及多次分配（multiply assigned）的问题

 

1.2 hbase hbck -fixMeta

命令解释：删除META表里有记录但HDFS里没有数据记录的region

                  添加HDFS里有数据但是META表里没有记录的region到META表

 

1.3hbase hbck -repairHoles

命令解释：hbase hbck -fixAssignments -fixMeta -fixHdfsHoles

 

-fixHdfsHoles的作用：

命令解释：如果rowkey出现空洞，即相邻的两个region的rowkey不连续，则使用这个参数会在HDFS里面创建一个新的region

创建新的region之后要使用-fixMeta和-fixAssignments参数来使用挂载这个region,所以一般和前两个参数一起使用

 

 

二、region重叠修复

进行以下操作非常危险，因为这些操作会修复文件系统，需要谨慎操作！

进行以下操作前使用hbck -details 查看详细的问题，如果需要进行修复先停掉应用，如果执行以下命令同时有数据操作可能会造成不可期的异常

2.1 hbase hbck -fixHdfsOrphants

命令解释：将文件系统中没有metadata文件（.regioninfo）的region目录加入到hbase中，即创建.regioninfo目录并

region 分配到regionserver

2.2hbase hbck -fixHdfsOverlaps

命令解释：通过2种方式可以将rowkey有重叠的region合并

                 1）.merge：将重叠的region合并成一个大的region

                 2).sideline将region重叠的部分去掉，并将重叠的数据先写入到临时文件，然后再导入进来

                 如果重叠的数据很大，直接合并成一个大的region会产生大量的split和compact操作，可以通过以下参数控制region过大

                -maxMerger 合并重叠region的最大数量

                -sidelineBigOverlaps假如有大于maxMerge个数的region重叠，则采用sideline方式处理与其他region的重叠

                -maxOverlapsToSideline 如果用sideline方式处理重叠region，最多sideline  n个region

 

2.3hbase hbck -repair

命令解释：等价于：hbase hbck -fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps

可指定表名：hbase hbck -repair Table1 Table2

 

2.4hbase hbck -fixMetaOnly -fixAssignments

 

命令解释：如果只有META表的region不一致，则可以使用这个命令恢复

2.5hbase hbck -fixVersionFile

 

命令解释：Hbase 的数据文件启动是需要一个version file ,如果这个文件丢失，可用这个命令新建一个，但是要保障hbck 版本

和Hbase集群的版本是一样的

 

2.6hbase org.apache.hadoop.hbase.util.hbck.offlineMetaRepair

命令解释：如果ROOT表和META表都出现问题了HBASE无法启动，可用这个命令来新建一个新的ROOT和META表

这个命令的前提是HBASE 已经关闭，执行时它会从hbase的home目录加载hbase的相关信息（.regioninfo）.如果表的信息

是完整的就会创建新的root和meta目录及数据

 

2.7hbase hbck -fixSplitParents

命令解释：

当region做split操作的时候，父region会被自动清理掉，但是有时候子region在父region被清除之前又做了split,造成有些延迟离线的

父region存在于META和HDFS中，但是没有部署，HBASE又不能清除他们。这种情况下可以使用此命令重置这些在META表中的region

为在线状态并且没有split,然后就可以使用之前的修复命令把这个region修复

三、根据报错来确定使用哪个参数

不一致	异常信息	修复命令
Region信息在meta数据和hdfs都不存在，但是却被部署到Regionserver。	errors.reportError(ERROR_CODE.NOT_IN_META_HDFS, "Region "     + descriptiveName + ", key=" + key + ", not on HDFS or in hbase:meta but " +     "deployed on " + Joiner.on(", ").join(hbi.deployedOn));	FixAssignments
Region在meta数据表不存在，也没有被部署到Regionserver，但是数据在hdfs上。	errors.reportError(ERROR_CODE.NOT_IN_META_OR_DEPLOYED, "Region "     + descriptiveName + " on HDFS, but not listed in hbase:meta " +     "or deployed on any Region server"	FixMeta FixAssignments
Region在meta数据表不存在，但是在Regionserver部署，数据在hdfs上。	errors.reportError(ERROR_CODE.NOT_IN_META, "Region " + descriptiveName     + " not in META, but deployed on " + Joiner.on(", ").join(hbi.deployedOn));	FixMeta FixAssignments
Region只存在meta中，但在hdfs和rs上都不存在	errors.reportError(ERROR_CODE.NOT_IN_HDFS_OR_DEPLOYED, "Region "     + descriptiveName + " found in META, but not in HDFS "     + "or deployed on any Region server.")	FixMeta
Region在meta表和Regionserver中存在，但是在hdfs不存在。	errors.reportError(ERROR_CODE.NOT_IN_HDFS, "Region " + descriptiveName     + " found in META, but not in HDFS, " +     "and deployed on " + Joiner.on(", ").join(hbi.deployedOn));	FixAssignments FixMeta
Region在meta表和hdfs中存在，且Region所在表没有处于disable状态，但是没有部署。	errors.reportError(ERROR_CODE.NOT_DEPLOYED, "Region " + descriptiveName     + " not deployed on any Region server.");	FixAssignments
Region处于disabling或disabled	errors.reportError(ERROR_CODE.SHOULD_NOT_BE_DEPLOYED,     "Region " + descriptiveName + " should not be deployed according " +     "to META, but is deployed on " + Joiner.on(", ").join(hbi.deployedOn));	FixAssignments
Region多分配	errors.reportError(ERROR_CODE.MULTI_DEPLOYED, "Region " + descriptiveName     + " is listed in hbase:meta on Region server " + hbi.metaEntry.RegionServer     + " but is multiply assigned to Region servers " +     Joiner.on(", ").join(hbi.deployedOn));	FixAssignments
Region在meta表的Regionserver信息与实际部署的Regionserver不一致。	errors.reportError(ERROR_CODE.SERVER_DOES_NOT_MATCH_META, "Region "     + descriptiveName + " listed in hbase:meta on Region server " +     hbi.metaEntry.RegionServer + " but found on Region server " +     hbi.deployedOn.get(0));	FixAssignments
父region在meta和hdfs存在，且处于切分状态，但子region的信息在meta信息缺失。	errors.reportError(ERROR_CODE.LINGERING_SPLIT_PARENT, "Region "     + descriptiveName + " is a split parent in META, in HDFS, "     + "and not deployed on any region server. This could be transient, "     + "consider to run the catalog janitor first!");	fixSplitParents

 

备注参考：

HBCK 参数解释

• -fixAssignments ：修复没有assign、assign不正确或者同时assign到多台RegionServer的问题region。
• -fixMeta ：主要修复.regioninfo文件和hbase:meta元数据表的不一致。修复的原则是以HDFS文件为准：如果region在HDFS上存在，但在hbase.meta表中不存在，就会在hbase:meta表中添加一条记录。反之如果在HDFS上不存在，而在hbase:meta表中存在，就会将hbase:meta表中对应的记录删除。
• -fixHdfsHoles ：尝试修复HDFS中的Region黑洞；
• -fixHdfsOrphans:尝试修复hdfs中没有.regioninfo文件的region目录
• -fixTableOrphans  尝试修复hdfs中没有.tableinfo文件的table目录（只支持在线模式）
• -fixHdfsOverlaps   修复重叠
• -fixVersionFile  尝试修复hdfs中hbase.version文件缺失的问题;