Hadoop——HDFS

序言

分布式文件系统未出现的时候，一个文件只能存储在个服务器上，如果有个TB级别的文件，我们该怎么存储呢？，可想而知，单个服务器根本就存储不了这么大的文件；退而求其次，就算一个服务器可以存储这么大的文件，你如果想打开这个文件，效率会高吗？

hdfs的出现就是为了解决上面分布式存储的问题。

hdfs为了满足大文件的存储和可读性，对数据进行切成多个小块进行存储，同时为了保证数据的可靠性，又对每个小块数据做复制，然后分别存储到多个节点中。

HDFS的基本结构

NameNode（名称节点）：有时候也叫MasterNode（主节点），它不保存实际数据，只保存元数据（数据块的数目、大小、存储位置）。它也维护着文件系统的命名空间和路径信息。名称节点应当位于可靠的服务器上。

SecondaryNameNode（第二名称节点）：用于在名称节点失效时进行替换。

DataNode（数据节点）：有时候也叫SlaveNode（从节点）。它保存实际的数据，根据名称节点的指令，执行数据块的创建、删除、复制。数据节点的数量可以很庞大，但对服务器的要求不高。

HDFS写流程

 

HDFS读流程

 

资料