随笔 - 366  文章 - 0  评论 - 101  阅读 - 30万

记一次 habse replication的Lag越来越大

误操作导致habse replication的Lag越来越大解决(没有继续同步,堆积越来越多):

hdfs fsck /data/logs/ -openforwrite         检查哪些文件处于打开写的过程一直未关闭

  

 

通过命令hdfs debug recoverLease -path /data/logs/2019/11/27/16/data-log-20191127_16.1574841601929.log  -retries 3
修复该文件即可。

 

参考    https://blog.csdn.net/mnasd/article/details/84560221

https://codeleading.com/article/88092566172/

https://blog.csdn.net/q495673918/article/details/128817054

HDFS常用命令

HDFS常用命令的学习

HDFS Balance调优参数设置

HDFS数据平衡

hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations

posted on   寒星12345678999  阅读(16)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· C#/.NET/.NET Core技术前沿周刊 | 第 29 期(2025年3.1-3.9)
· 从HTTP原因短语缺失研究HTTP/2和HTTP/3的设计差异
历史上的今天:
2014-12-17 grub
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示