Hadoop NameNode(SecondaryNameNode) Fsimage和Edits解析
NameNode
被格式化之后,将在NameNode目录下产生一些文件
1.Fsimage文件
Fsimage文件是HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和文件inode的序列化信息
查看Fsimage文件
hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件的输出路径
hdfs oiv -p XML -i fsimage_0000000000000000049 -o /home/fanqi/fsimage.xml
2.Edits文件
Edits文件存放了HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到Edits文件中。
查看Edits文件
hdfs oev -p 文件类型 -i 编辑日志文件 -o 转换后文件的输出路径
hdfs oev -p XML -i edits_0000000000000000038-0000000000000000049 -o /home/fanqi/edits.xml
3.seen_txid文件
seen_txid文件存放了一串数字,记录下最后一个Edits的数字。
每次NameNode启动的时候都会将Fsimage文件读入内存,加载Edits里面的更新操作,保证内存中的元数据信息是最新的、同步的,可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并
作者:奇
出处:https://www.cnblogs.com/fanqisoft/p/17896752.html
版权:本作品采用「本文版权归作者和博客园共有,欢迎转载,但必须给出原文链接,并保留此段声明,否则保留追究法律责任的权利。」许可协议进行许可。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!
2019-12-12 使用TypeScript创建React Native