HDFS NameNode和SecondaryNameNode

一、工作机制

1、原理

NameNode元数据储存在内存中,存在断电及消失的特性,因此产生磁盘备份元数据FsImage,但是当NameNode元数据更新时,若要时刻备份元数据到FsImage,效率会低下,因此使用Edites文件,当元数据更新时,对Edits文件进行追加操作,当发生断电时,FsImage和Edits的内容等于断电器内存中的元数据。

一直向Edits文件追加操作记录,会导致,追加效率变低,合并FsImage时间变长,因此产生2NN来管理操作

2、2NN的作用

负责FsImage和Edits文件合并成新的FsImage

流程:

1)、请求是否需要CheckPoint,执行CheckPoint的条件(a、定时时间到;b、Edits数据满了)

2)、执行CheckPoint,将Edits文件,切割

3)、将切割后的文件和FsImage,拷贝到Secondary NameNode,合并到内存

4)、将内存生成新的FsImage -> NameNode,并重命名

 

posted @ 2020-08-31 22:47  市丸银  阅读(197)  评论(0编辑  收藏  举报