HDFS NameNode和SecondaryNameNode
一、工作机制
1、原理
NameNode元数据储存在内存中,存在断电及消失的特性,因此产生磁盘备份元数据FsImage,但是当NameNode元数据更新时,若要时刻备份元数据到FsImage,效率会低下,因此使用Edites文件,当元数据更新时,对Edits文件进行追加操作,当发生断电时,FsImage和Edits的内容等于断电器内存中的元数据。
一直向Edits文件追加操作记录,会导致,追加效率变低,合并FsImage时间变长,因此产生2NN来管理操作
2、2NN的作用
负责FsImage和Edits文件合并成新的FsImage
流程:
1)、请求是否需要CheckPoint,执行CheckPoint的条件(a、定时时间到;b、Edits数据满了)
2)、执行CheckPoint,将Edits文件,切割
3)、将切割后的文件和FsImage,拷贝到Secondary NameNode,合并到内存
4)、将内存生成新的FsImage -> NameNode,并重命名