Hadoop之HDFS概述

Hadoop-HDFS概述

• 1、出现背景
• 2、HDFS定义
• 3、优缺点
• • 3.1 优点
  • 3.2 缺点
• 4、HDFS组成架构
• • 4.1 NameNode（nn）
  • 4.2 DataNode（dn）
  • 4.3 Client
  • 4.4 Secondary NameNode（2nn）
• 5、面试重点
• • 5.1 HDFS默认数据块得大小是多少？为什么？
  • 5.2 为什么HDFS不支持存储小文件
  • 5.3 为什么块的大小不能设置太小，也不能设置太大
  • 5.4 说说hdfs的文件上传的流程
  • 5.5 我们在上传文件的时候如何namenode选取的datanode存储副本？有什么优势?
  • 5.6 说说hdfs文件的下载流程
  • 5.7 描述一下Namenode和secondarynamenode的工作机制
  • 5.8 Fsimage和Edits文件分别指的是什么？存的是什么？
  • 5.9 默认情况下进行Ckeckpoint（合并镜像及编辑日志）的触发条件是什么？

1、出现背景

现在时代，数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

2、HDFS定义

HDFS（Hadoop Distributed File System）hadoop分布式文件系统，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

使用场景： 适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

3、优缺点

3.1 优点

• 高容错性
  • 数据自动保存多个副本。它通过增加副本的形式，提高容错性。
  • 某一个副本丢失以后，它可以自动恢复。
• 适合处理大数据
  • 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据;
  • 文件规模：能够处理百万规模以上的文件数量，数量相当之大。
• 可构建在廉价机器上，通过多副本机制，提高可靠性。

3.2 缺点

• 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
• 无法高效的对大量小文件进行存储。
  • 存储大量小文件的话，它会占用 NameNode 大量的内存来存储文件目录和块信息（150B）。这样是不可取的，因为 NameNode 的内存总是有限的；
  • 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
• 不支持并发写入、文件随机修改。
  • 一个文件只能有一个写，不允许多个线程同时写；
  • 仅支持数据 append（追加），不支持文件的随机修改。

4、HDFS组成架构

4.1 NameNode（nn）

就是 Master ，它是一个主管、管理者。

1. 用来存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间，副本数，文件权限)，以及每个文件的块列表和块所在的DataNode等。
2. 维护文件系统的统一目录树
3. 接受客户端的读写请求
4. 监控和管理 DataNode

4.2 DataNode（dn）

就是Slave。NameNode 下达命令， DataNode 执行实际的操作。

1. 在本地文件系统存储文件块数据，以及块数据的校验。
2. 执行数据块的读/写操作.
3. 通过心跳（3s）向 NameNode 汇报自身状况（如果 NameNode 超过 10 min 没有收到汇报，就认为这个 DateNode 挂了）

4.3 Client

就是客户端。

1. 文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的 Block，然后进行上传;
2. 与 NameNode 交互，获取文件的位置信息;
3. 与 DataNode 交互，读取或者写入数据;
4. Client 提供一些命令来管理 HDFS ，比如 NameNode 格式化;
5. Client 可以通过一些命令来访问 HDFS ，比如对 HDFS 增删查改操作;

4.4 Secondary NameNode（2nn）

并非 NameNode 的热备。当 NameNode 挂掉的时候 ，它并不能马上替换 NameNode 并提供服务。

1. 用来监控HDFS状态的辅助后台程序，每个一段时间获取HDFS的元数据快照；
2. 辅助 NameNode ，分担其工作量 ，比如定期合并 Fsimage 和 Edits ，减少启动时间，并推送给 NameNode ;
3. 作为 NameNode 的冷备份，在紧急情况下，可辅助恢复 NameNode。（在 NameNode 数据丢失以后，可以拷贝 SecondaryNameNode 的 fsimage.ckpt 给 NameNode，恢复目录树到最后一次合并的状态，丢失最后一次合并后执行的操作数据，这个操作需要重启集群，所以叫做冷备份）

5、面试重点

5.1 HDFS默认数据块得大小是多少？为什么？

• HDFS目前默认块大小在Hadoop2.x版本中是128M，老版本中是64M；
• 因为目前磁盘的传输率约为100M/s，而HDFS读取文件时最佳的寻址时间为10ms，寻址时间为传输时间的百分之1时最佳，所以定义块大小为128M，1秒左右可以快速读取完毕；本质上HDFS的块大小取决于磁盘的传输速率。

5.2 为什么HDFS不支持存储小文件

• 存储大量小文件会占用NameNode大量的内存和磁盘来存储文件目录和块信息。是不可取的，因为NameNode的内存是有限的；
• 读取小文件时寻址时间会超过读取时间，不合理，违反了HDFS的设计目标.

5.3 为什么块的大小不能设置太小，也不能设置太大

• HDFS的块设置太小，回增加寻址时间，程序一直在找块的开始位置；
• 如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块数据时，会非常慢。
• 总结：HDFS块的大小设置主要取决于磁盘按传输速率。

5.4 说说hdfs的文件上传的流程

• 首先客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
• NameNode返回是否可以上传。
• 如果文件大于128M则分块存储，客户端请求第一个 Block上传到哪几个DataNode服务器上
• NameNode根据副本储存策略返回3个DataNode节点，假如为dn1、dn2、dn3。
• 客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求调用dn2，dn2调用dn3，建立通信管道完成,dn1、dn2、dn3逐级应答客户端。
• 客户端以Packet为单位往dn1上传第一个Block数据,dn1收到Packet就会传给dn2，dn2传给dn3；dn1,dn2,dn3每接收packet会放入一个待写队列等待写入数据，落盘。
• 当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器，重复执行3-6步。

5.5 我们在上传文件的时候如何namenode选取的datanode存储副本？有什么优势?

• HDFS的放置策略是将一个副本放置在本地机架中的一个节点上，将另一个副本放置在本地机架中的另一个节点上，最后一个副本放置在不同机架中的另一个节点上
  (一个副本在Client所处的节点上。如果客户端在集群外，随机选一个,第二个副本和第一个副本位于相同机架，随机节点,第三个副本位于不同机架，随机节点)
• 优点：该策略减少了机架间的写流量，通常可以提高写性能。机架故障的机会远小于节点故障的机会。此策略不会影响数据的可靠性和可用性保证

5.6 说说hdfs文件的下载流程

• 客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
• 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
• DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
• 客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

5.7 描述一下Namenode和secondarynamenode的工作机制

• NameNode启动和工作内容
  • 第一次启动NameNode格式化后,创建Fsimage和Edits文件.如果不是第一次启动,会加载编辑日志和镜像文件到内存。
  • 客户端对元数据进行增删改的请求。
  • NameNode记录操作日志，更新滚动日志。
  • NameNode在内存中对元数据进行增删改。
• Secondary NameNode工作内容
  • 2NN询问NN是否需要CheckPoint（合并镜像和编辑日志),并带回NameNode是否执行结果。
  • 2NN请求执行CheckPoint
  • NN滚动正在写的Edits编辑日志。
  • 将滚动前的编辑日志和镜像文件拷贝到2NN。
  • 2NN加载编辑日志和镜像文件到内存，并执行合并，生成新的镜像文件fsimage.chkpoint。
  • 2NN拷贝fsimage.chkpoint到NN。
  • NN将fsimage.chkpoint重新命名成fsimage，替换之间旧的fsimage

5.8 Fsimage和Edits文件分别指的是什么？存的是什么？

• Fsimage：HDFS文件系统元数据的镜像文件，其中包含HDFS文件系统的所有目录和文件inode及相关属性的序列化信息
• Edits：用户操作的编辑日志文件，存放HDFS文件系统的所有更新操作的动作，文件所有写操作会被记录到Edits文件中.

5.9 默认情况下进行Ckeckpoint（合并镜像及编辑日志）的触发条件是什么？

• 默认情况下，2NN每隔一小时执行一次Checkpoint
• 默认情况下,一分钟检查一次Edits文件的操作次数，当操作次数达到1百万时，2NN执行一次Checkpoint。