Hadoop——HDFS
序言
分布式文件系统未出现的时候,一个文件只能存储在个服务器上,如果有个TB级别的文件,我们该怎么存储呢?,可想而知,单个服务器根本就存储不了这么大的文件;退而求其次,就算一个服务器可以存储这么大的文件,你如果想打开这个文件,效率会高吗?
hdfs的出现就是为了解决上面分布式存储的问题。
hdfs为了满足大文件的存储和可读性,对数据进行切成多个小块进行存储,同时为了保证数据的可靠性,又对每个小块数据做复制,然后分别存储到多个节点中。
HDFS的基本结构
NameNode(名称节点):有时候也叫MasterNode(主节点),它不保存实际数据,只保存元数据(数据块的数目、大小、存储位置)。它也维护着文件系统的命名空间和路径信息。名称节点应当位于可靠的服务器上。
SecondaryNameNode(第二名称节点):用于在名称节点失效时进行替换。
DataNode(数据节点):有时候也叫SlaveNode(从节点)。它保存实际的数据,根据名称节点的指令,执行数据块的创建、删除、复制。数据节点的数量可以很庞大,但对服务器的要求不高。
HDFS写流程
HDFS读流程