二、HDFS(架构、读写、NN)

一、HDFS定义

HDFS (Hadooop Distributed File System)，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合走来实现其功能，集群中的服务器有各自的角色。

HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

 

二、HDFS优缺点

2.1、优点

1) 高容错性

• 数据自动保存多个副本。它通过增加副本的形式，提高容错性。
• 某一个副本丢失后，它可以自动恢复。

2) 适合处理大数据

• 数据规模：能够处理数据规模达GB、TB、甚至PB级别的数据；
• 文件规模：能够处理百万规模以上的文件数量，数量相当之大。

3) 可构建在廉价机器上，通过多副本机制，提高可靠性。

 

2.2 缺点

1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的

2）无法高效的对大量小文件进行存储

• 存储大量小文件的话，它会占用NameNode大量的内存来存储和目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。
• 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。

3）不支持并发写入、文件随机修改。

• 一个文件只能有一个写，不允许多个线程同时写
• 仅支持数据append(追加)，不支持文件的随机修改。

 

三、HDFS组成架构

 

 

四、HDFS写数据流程（参考）

 

 

 

1.Client调用DistributedFileSystem对象的create方法，创建一个文件输出流（FSDataOutputStream）对象。

2.通过DistributedFileSystem对象与Hadoop集群的NameNode进行一次RPC远程调用，在HDFS的Namespace中创建一个文件条目（Entry），该条目没有任何的Block。

3.通过FSDataOutputStream对象，向DataNode写入数据，数据首先被写入FSDataOutputStream对象内部的Buffer中，然后数据被分割成一个个Packet数据包。

4.以Packet最小单位，基于Socket连接发送到按特定算法选择的HDFS集群中一组DataNode（正常是3个，可能大于等于1）中的一个节点上，在这组DataNode组成的Pipeline上依次传输Packet。

5.这组DataNode组成的Pipeline反方向上，发送ack，最终由Pipeline中第一个DataNode节点将Pipeline ack发送给Client。

6.完成向文件写入数据，Client在文件输出流（FSDataOutputStream）对象上调用close方法，关闭流。

7.调用DistributedFileSystem对象的complete方法，通知NameNode文件写入成功。

 

 

在向HDFS中写数据的时候，当写某一副本时出错怎么处理？

 

1.首先会关闭管线。

 

2.将已经发送到管道中但是没有收到确认的数据包重新写回数据队列，这样无论哪个节点发生故障，都不会发生数据丢失。这个过程是在确认队列中将未收到确认的数据包删除，写回到数据队列。

 

3.然后当前正常工作的数据节点将会被赋予一个新的版本号（利用namenode中租约的信息可以获得最新的时间戳版本），这样故障节点恢复后由于版本信息不对，故障DataNode恢复后会被删除。

 

4.在当前正常的datanode中根据租约信息选择一个主DataNode，并与其他正常DataNode通信，获取每个DataNode当前数据块的大小，从中选择一个最小值，将每个正常的DataNode同步到该大小。然后重新建立管道。

 

5.在管线中删除故障节点，并把数据写入管线中剩下的正常的DataNode，即新的管道。

 

6.当文件关闭后，namenode发现副本数量不足时会在另一个节点上创建一个新的副本。

 

 

 

五、HDFS读数据流程

 

 

1.初始化FileSystem，然后客户端用FileSystem的open函数打开文件

2.FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。

3.FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用FSDI的read()函数开始读取数据。

4.FSDataInputStream连接保存此文件第一个数据块的最近的数据节点，data从数据节点读到客户端。

5.当此数据块读取完毕时，FSDataInputStream关闭和此数据节点的连接，然后连接此文件下一个数据块的最近的数据节点。

6.当客户端读取完毕数据的时候，调用FSDataInputStream的close函数。

7.在读取数据的过程中，如果客户端在与数据节点通信出现错误，则尝试连接包含此数据块的下一个数据节点。

8.失败的数据节点会被记录，此后不再连接。

 

 

六、NN和2NN工作机制 (Fsimage 与 EditLog定义及合并过程)

fsimage文件：即命名空间映像文件，是内存中的元数据在硬盘上的checkpoint，包含文件系统中的所有目录和文件inode的序列化信息。

edits：文件系统的写操作首先把它记录在edit中。

 

 

 

合并过程：

1.secondary namenode通过周期性（五分钟），通过getEditLog获取editlog大小，当其达到合并的大小时通过RollEditLog方法进行合并。

2.namenode停止使用edits文件，并生成一个新的临时的edits.new文件。

3.Secondarynamenode通过namenode内建的Http服务器，以get的方式获取edits与fsimage文件。Get方法中携带着fsimage与edits的路径。

4.Secondaryname将fsimage载入内存并逐一执行edits中的操作，生成新的fsimage文件。

5.执行结束后，会向namenode发送http请求，告知namenode合并结束，namenode通过http post的方式获取新fsimage文件。

6.Namenode更新fsimage文件中记录检查点执行的时间，并改名为fsimage文件。

7.Edit.new文件更名为edit文件。

注：由此可知namenode 与 secondarynamenode 有着相似的内存需求，因为secondarynamenode也会将fsimage载入内存，因此secondarynamenode需要运行在一台专门机器上。

 

 七、DataNode工作机制

 

 

 

1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

4）集群运行中可以安全加入和退出一些机器。