HDFS架构

1.HDFS的Block块概念

HDFS默认的Block块大小为128 MB。为何HDFS中的一个块那么大？

HDFS的block块比磁盘的块大，目的是为了减小寻址开销。通过让一个块足够大，从磁盘转移数据的时间能够远远大于定位这个块开始端的时间。因此，传送一个由多个块组成的文件的时间就取决于磁盘传输送率。

//HDFS中 fsck 指令会显示块的信息
% hadoop fsck / -files -blocks

2.NN主要功能

　1). NN提供名称查询服务，它是一个Jetty服务器

　2).NN维护着两张关键性的表：①. filename -> blocksequence (namespace) ②. block -> machinelist ("inodes"). 第①张表保存在磁盘，非常珍贵。第②张表每次NN启动时都会在内存中重建。

　3).表①维护着整个HDFS系统的元数据信息。NN不需要从磁盘读取metadata，所有数据都在内存中，硬盘上的元数据文件 fsimage 和edits 只是序列化的结果，只有每次NN启动的时候才会读取。

　4). 表②记录着每个文件的数据块存储的DN，但它并不永久保存块的位置信息，因为这些信息由DN通过每6小时发送一次Block-Report时重建

3.NN目录结构

NN被格式化之后（区别于DN：使用前不用格式化），将产生如下所示的目录结构：

　1). 实际生产环境中为了安全机制，将dfs.name.dir配置成以逗号隔开的一组目录，各个目录存储的内容相同。这个机制使得系统具备一定的还原能力，特别是当其中一个目录位于NFS之上时（推荐配置）

　2). fsimage文件其实是Hadoop文件系统元数据的一个永久性的检查点，其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息

　3). edits文件存放的是Hadoop文件系统的所有更新操作的路径，文件系统客户端执行的所以写操作首先会被记录到edits文件中

4.SNN主要功能

每个集群都有一个，SNN只有一个职责：合并NN中的edits到fsimage中，减少NN启动时间。

SNN请求NN停止使用edits文件，暂时将新的写操作记录到一个新的edits.new文件中。
SNN通过网络从NN拷贝fsimage和edits文件。
SNN首先将fsimage加载到内存，然后逐一执行edits中的操作，最后将内存中最新的元数据信息写到本地磁盘，生成新的fsimage文件（该fsimage就是SNN Checkpoint 生成的元数据文件）。
SNN通过网络将新的fsimage拷贝到NN。
NN用新的fsimage代替旧的fsimage；并用步骤 ① 所产生的edits（不一定为空）代替旧的edits文件。
NN拥有最新的fsimage文件和一个更小的edits文件。SNN上也保存着最新的fsimage文件。

除此之外，当NN处于安全模式时，管理员也可以调用以下命令来手动执行合并两文件：

//必须是在安全模式
hdfs dfsadmin -safemode enter
hadoop dfsadmin –saveNamespace

从配置文件hdfs-default.xml中，可以看出SNN定期 3600s=1h 触发一次CheckPoint。不仅可以保证各个CheckPoint阶段的元数据的可靠性，同时，进行fsimage与edits的合并，可以有效限制edits的大小，防止其无限制增长。

5.DN节点( 向NN 发送heartbeat 和 DirectoryScan)

DN响应来自HDFS客户端的读写请求，还响应来自NN的创建、删除和复制块的命令。
DN启动后，首先向NN注册，然后周期性(21600s = 6小时)的向NN发送目录扫描信息(DirectoryScan)。
向NN定期(3秒一次)发送心跳(heartbeat)保持与其联系，如果NN10分钟没有收到DN的心跳，则认为其已经lost，并将其上的Blcok复制到其他DN节点。