一次清理Hbase的oldWALs的过程

HBase版本:1.3.1

Hadoop版本:2.7.1

Zookeeper版本:3.4.6

---------------------------------

检查线上业务系统的磁盘空间,

发现HDFS的oldWALs日志占用了大量的空间。

我们的集群分为两套,前置一套,后置一套,

其中,利用hbase的replication功能能,由前置向后置集群同步数据。

 

经过一翻调查之后,发现replication功能打开的时候,

hbase的oldWALs就不会自动清理了,于是尝试关闭replication功能。

 

  • 前置集群

在hbase shell中,使用remove_peer命令,删除复制的peer。

HBase自动清理了一定的oldWALs,释放了一定的空间。

 

修改之后的结果如下:

 

  • 后置集群

与前置集群略有不同,采用的措施是把hbase下面这个配置项关掉

关掉之后,重启HBase集群,oldWALs就被清理 掉了。

 

好了,明天可以安心的去北戴河度假了。

非常感谢热心网友的帮助。

 

参考链接:

https://stackoverflow.com/questions/28725364/hbase-oldwals-what-it-is-and-how-can-i-clean-it

https://developer.ibm.com/answers/questions/334976/why-is-my-hbase-oldwals-folder-just-filling-up/

posted @   大墨垂杨  阅读(3546)  评论(0编辑  收藏  举报
编辑推荐:
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
阅读排行:
· winform 绘制太阳,地球,月球 运作规律
· AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 上周热点回顾(3.3-3.9)
点击右上角即可分享
微信分享提示