Hadoop NameNode(SecondaryNameNode) Fsimage和Edits解析
NameNode
被格式化之后,将在NameNode目录下产生一些文件
1.Fsimage文件
Fsimage文件是HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和文件inode的序列化信息
查看Fsimage文件
hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件的输出路径
hdfs oiv -p XML -i fsimage_0000000000000000049 -o /home/fanqi/fsimage.xml
2.Edits文件
Edits文件存放了HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到Edits文件中。
查看Edits文件
hdfs oev -p 文件类型 -i 编辑日志文件 -o 转换后文件的输出路径
hdfs oev -p XML -i edits_0000000000000000038-0000000000000000049 -o /home/fanqi/edits.xml
3.seen_txid文件
seen_txid文件存放了一串数字,记录下最后一个Edits的数字。
每次NameNode启动的时候都会将Fsimage文件读入内存,加载Edits里面的更新操作,保证内存中的元数据信息是最新的、同步的,可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并