9.16

1. HDFS基本介绍
a. HDFS是服务于Hadoop的分布式文件系统
b. 块的概念
HDFS也有块的概念,不过是更大的单元,默认是128MB。与单一磁盘上的文件系统相似,HDFS上的文件也被分为以块为大小的分块,作为单独的单元存储。

c. NameNode和DataNode
HDFS集群以Master-Slave模式运行,主要有两类节点:一个NameNode(即Master)和多个DataNode(即Slave)。
NameNode:它管理着文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个,分别是NameNode镜像文件(fsimage)和操作日志文件(edit log)。
DataNode:DataNode是文件系统的工作节点,他们根据客户端或者hiNameNode的调度存储和检索数据,并且定期向NameNode发送他们所存储块(block)的列表。

posted @   秋渡晚枫  阅读(11)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?
· 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统
点击右上角即可分享
微信分享提示