Hadoop——HDFS

序言

分布式文件系统未出现的时候,一个文件只能存储在个服务器上,如果有个TB级别的文件,我们该怎么存储呢?,可想而知,单个服务器根本就存储不了这么大的文件;退而求其次,就算一个服务器可以存储这么大的文件,你如果想打开这个文件,效率会高吗?

hdfs的出现就是为了解决上面分布式存储的问题。

hdfs为了满足大文件的存储和可读性,对数据进行切成多个小块进行存储,同时为了保证数据的可靠性,又对每个小块数据做复制,然后分别存储到多个节点中。

HDFS的基本结构

NameNode(名称节点):有时候也叫MasterNode(主节点),它不保存实际数据,只保存元数据(数据块的数目、大小、存储位置)。它也维护着文件系统的命名空间和路径信息。名称节点应当位于可靠的服务器上。

SecondaryNameNode(第二名称节点):用于在名称节点失效时进行替换。

DataNode(数据节点):有时候也叫SlaveNode(从节点)。它保存实际的数据,根据名称节点的指令,执行数据块的创建、删除、复制。数据节点的数量可以很庞大,但对服务器的要求不高。

HDFS写流程

 

HDFS读流程

 

资料

posted @ 2020-02-23 10:23  ~沐风  阅读(180)  评论(0编辑  收藏  举报