HDFS详解
1.HDFS简介
HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问的处理超大文件的需求而开发的,可运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集的应用带来了很多便利。
HDFS源于Google在2003年10月发表的GFS(Google File System)论文。它其实就是GFS的一个克隆版本。
2.HDFS的优缺点
优点:
1.高容错性
数据自动保存多个副本。通过增加副本的形式,提高容错性。
某个副本丢失以后,它可以自动恢复,这是由HDFS内部机制实现。
2.适合批处理
它是基于移动计算而不是移动数据。
它会把数据位置暴露给计算框架
3.适合大数据处理
处理数据达到GB、TB、甚至PB级别的数据。
能够处理百万规模以上的文件数量,数量相当大。
能够处理10k节点的规模。
4.流式文件访问
一次写入,多次读取。文件一旦写入不能修改,只能追加。
能保证数据的一致性。
5.可构建在廉价的机器上
它通过多副本机制,提高可靠性。
它提供了容错和恢复机制。比如某个副本丢失,可通过其他副本来恢复。
缺点:
1.低延时数据访问
比如毫秒级的来存储数据,这是不行的。
它适合高吞吐率场景,就是在某一时间内写入大量的数据。但是在低延时的情况下是不行的,比如毫秒级以内读取数据。
2.小文件存储
存储大量小文件(这里的小文件是指小于HDFS系统的Block大小的文件(默认64M))的话,他会占用NameNode大量的内存来存储文件,目录和块信息。这样是不可取的,因为NameNode的内存总是有限的。
小文件的寻道时间会超过读取时间,违反了HDFS的设计目标。
3.并发写入、文件随机修改
一个文件只能有一个写,不允许多个线程同时写。
仅支持数据的追加,不支持文件的随机修改。
3.HDFS存储数据方式
HDFS采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别是HDFS Client、NameNode、DataNode和Secondary NameNode。
1.Client:就是客户端。
文件切分。文件上传HDFS的时候,Client将文件切分称一个一个Block,然后进行存储。
与NameNode交互,获得文件的位置信息。
与DataNode交互,读取或者写入数据。
Client提供一些命令来管理HDFS,比如启动或者关闭HDFS。
Client可以通过命令来访问HDFS。
2.NameNode:就是Master,它是一个管理者。NameNode包含:目录与数据块之间的关系(靠fsimage和fsedits来实现),数据块和节点之间的关系。
管理HDFS的名称空间。
管理数据块(Block)的映射信息。
配置副本策略。
处理客户端读写的请求。
fsimage文件与fsedits文件是Namenode结点上的核心文件。
(1) fsimage - 它是在NameNode启动时对整个文件系统的快照
(2)fsedits- 它是在NameNode启动后,对文件系统的改动序列
NameNode中仅仅存储目录树信息,而关于Block的位置信息则是从各个DataNode上传到NameNode上的。
NameNode的目录树信息就是物理的存储在fsimage这个文件中的,当NameNode启动的时候首先读取fsimage这个文件,将目录树装载到内存中。
fsedits存储的是日志信息,而NameNode在启动后所有对目录结构的增加、删除、修改等操作都会记录到fsedits文件中,并不同步的记录在fsimage中。
当NameNode节点关闭的时候,不会将fsimage和fsedits文件进行合并,这个合并过程实际上是发生在NameNode启动的过程中。也就是说,当NameNode启动的时候,首先装载fsimage文件,然后在应用fsedits文件,最后还会将最新的目录树信息更新到新的fsimage文件中,然后启用新的fsedits文件。
3.DataNode:就是Slave。NameNode下达命令,DataNode执行实际的操作。
存储实际的数据块。
执行数据块的读/写操作。
另外它也会定时的通过心跳向NameNode报告自己的状态(包括存储的文件块的信息)。
4.Secondary NameNode:并非NameNode的备份。
辅助NameNode,分担其工作量。
协助NameNode定期将edits(日志)合并到磁盘的fsimage中,并推送给NameNode。
当edits到了合并的时候(两个时机,默认,
一个是固定的时间,默认3600秒 fs.checkpoint.period = 3600
一个是固定的容量,edits默认只有64m当存满了就会触发 fs.checkpoint.check = 64MB)
触发后SecendNameNode就会将edits数据清空并将内容存入fsimage中。
在紧急情况下,可辅助恢复NameNode。
执行过程:从NameNode上下载元数据信息(fsimage和edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,同时重置NameNode的fsedits。
(1)首先,它定时到NameNode去获取fsimage(edit logs),并更新到Secondary NameNode自己的fsimage上。
(2)一旦它有了新的fsimage文件,它将其拷贝回NameNode中。