Hadoop NameNode(SecondaryNameNode) Fsimage和Edits解析

NameNode被格式化之后,将在NameNode目录下产生一些文件

1.Fsimage文件

Fsimage文件是HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和文件inode的序列化信息

查看Fsimage文件

hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件的输出路径
hdfs oiv -p XML -i fsimage_0000000000000000049 -o /home/fanqi/fsimage.xml

2.Edits文件

Edits文件存放了HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到Edits文件中。

查看Edits文件

hdfs oev -p 文件类型 -i 编辑日志文件 -o 转换后文件的输出路径
hdfs oev -p XML -i edits_0000000000000000038-0000000000000000049 -o /home/fanqi/edits.xml

3.seen_txid文件

seen_txid文件存放了一串数字,记录下最后一个Edits的数字。

每次NameNode启动的时候都会将Fsimage文件读入内存,加载Edits里面的更新操作,保证内存中的元数据信息是最新的、同步的,可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并

作者:奇

出处:https://www.cnblogs.com/fanqisoft/p/17896752.html

版权:本作品采用「本文版权归作者和博客园共有,欢迎转载,但必须给出原文链接,并保留此段声明,否则保留追究法律责任的权利。」许可协议进行许可。

posted @   SpringCore  阅读(120)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!
历史上的今天:
2019-12-12 使用TypeScript创建React Native
more_horiz
keyboard_arrow_up light_mode palette
选择主题
点击右上角即可分享
微信分享提示