9.16
1. HDFS基本介绍
a. HDFS是服务于Hadoop的分布式文件系统
b. 块的概念
HDFS也有块的概念,不过是更大的单元,默认是128MB。与单一磁盘上的文件系统相似,HDFS上的文件也被分为以块为大小的分块,作为单独的单元存储。
c. NameNode和DataNode
HDFS集群以Master-Slave模式运行,主要有两类节点:一个NameNode(即Master)和多个DataNode(即Slave)。
NameNode:它管理着文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个,分别是NameNode镜像文件(fsimage)和操作日志文件(edit log)。
DataNode:DataNode是文件系统的工作节点,他们根据客户端或者hiNameNode的调度存储和检索数据,并且定期向NameNode发送他们所存储块(block)的列表。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?
· 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统