HBASE文件太大，磁盘空间不足，清楚日志oldWALs

版本信息

Hadoop: 3.0.0-cdh6.3.2

hbase : 2.1.0-cdh6.3.2

 

当/hbase/WALs中的HLog文件被持久化到存储文件中，且这些Hlog日志文件不再被需要时，就会被转移到{hbase.rootdir}/oldWALs目录下，该目录由HMaster上的定时任务负责定期清理。

网上说了很多方法，类似改配置文件会自动清除，我做了，但不管用。

我用的这个版本的文件，直接删除，很方便

 

查看磁盘空间：

[hbase@cdh01 ~]$ df -lTH
Filesystem Type Size Used Avail Use% Mounted on
/dev/vda1 ext4 32G 18G 14G 57% /
此时可用空间为14G

 

查看oldWALs大小：

[root@cdh01 ~]# hadoop fs -du -h hdfs://172.18.10.90:8020/opt/hbase/
14.3 K 34.2 K hdfs://172.18.10.90:8020/opt/hbase/.hbase-snapshot
20.1 G 20.1 G hdfs://172.18.10.90:8020/opt/hbase/oldWALs
0 0 hdfs://172.18.10.90:8020/opt/hbase/staging

发现oldWALs有20G

 

清除oldWALs

[root@cdh01 ~]# hadoop fs -rm -f hdfs://172.18.10.90:8020/opt/hbase/oldWALs/*

21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374
21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta

看打印出来的信息提示说，移动到 hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs 这个目录下面了，相当于windows的垃圾桶

 

那就在把他删除

hadoop fs -rm -f hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/*

 

再查看一下磁盘空间（可能要等一会才会刷新）:

[root@cdh01 ~]# df -lTH
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/vg_data-lvm_data ext4 74G 35G 36G 50% /opt

完成！