9.20

Nameode(主节点):主要存储元数据和提供访问;
元数据包括三部分:
1). 文件夹,文件树(目录结构,权限,大小,block数量);
2). 文件与blockid映射(一个文件由哪些block组成)
3). blockid与datanode映射(也就是datanode上有哪些block)
**注意:**1,2是永久保存在fsimage文件中,3的数据是namenode启动时有datanode汇报获取到内存中。

Datanode:真正存储数据的地方,datanode记录block存在磁盘具体地址;

SecondaryNameNode (检查点,后备点):
当NameNode启动时,需要合并硬盘上的fsimage(HDFS的最新状态)和edits(fsimage创建后的),需要消耗大量的时间。
这里的SecondaryNameNode定时去下载NameNode的fsimage文件和edits文件进行合并,同时namenode上启动新的edits,然后再将合并后的fsimage上传覆盖namenode,并开启一个新的edits日志,减少了hdfs启动时间。

posted @   秋渡晚枫  阅读(6)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?
· 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统
点击右上角即可分享
微信分享提示