hbase 的hdfs目录解析
Hbase在hdfs上的存储位置,根目录是由配置项hbase.rootdir
决定,默认就是"/hbase"
其中hbase master 的webui 由参数hbase.master.info.port决定,一般配置为 60010
[dip@g3-test-36 ~]$ hadoop fs -ls /hbase Found 7 items drwxr-xr-x - dip supergroup 0 2020-07-30 15:43 /hbase/.tmp drwxr-xr-x - dip supergroup 0 2020-07-30 15:43 /hbase/MasterProcWALs drwxr-xr-x - dip supergroup 0 2020-07-30 15:43 /hbase/WALs drwxr-xr-x - dip supergroup 0 2020-07-30 15:43 /hbase/data -rw-r--r-- 3 dip supergroup 42 2020-07-30 15:43 /hbase/hbase.id -rw-r--r-- 3 dip supergroup 7 2020-07-30 15:43 /hbase/hbase.version drwxr-xr-x - dip supergroup 0 2020-07-30 15:43 /hbase/oldWALs
一、/hbase/.tmp
当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。
二、/hbase/MasterProcWALs
这部分存储的是hbase master的状态日志,仔细搜索了一下相关文章,发现cdh的社区大佬faston发表过一篇文章:《由MasterProcWals状态日志过多导致的HBase Master重启失败问题》
需要琢磨一下配置定期清理策略(cdh和apache环境)
/hbase/WALs
在该目录下,对于每个RegionServer,都会对应1~n个子目录
/hbase/oldWALs
当/hbase/WALs中的HLog文件被持久化到存储文件时,它们就会被移动到/hbase/oldWALs
/hbase/hbase.id
集群唯一的id
/hbase/hbase.version
集群的文件格式版本信息