HDFS

简介

定义：

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

优点：

1. 高容错性
   • 数据自动保存多个副本,通过增加副本的形式,提高容错性
   • 某一个副本丢失以后,他可以自动恢复
2. 适合处理大数据
   • 数据规模:GB,TB,PB
   • 文件规模:处理百万规模以上的文件数量
3. 可构建在廉价机器上,通过多副本机制,提高可靠性

缺点:

1. 不适合低延时的数据访问，比如毫秒级的数据存储
2. 对大量小文件进行存储很低效
   • 存储大量的小文件，会占用NameNode大量的内存来存储文件目录和块信息，但NameNode的内存是有限的
   • 小文件的寻址时间会超出读取时间，违反了HDFS的设计目标
3. 不支持并发写入、文件的随机修改
   • 一个文件只能有一个写，不允许多个线程同时写
   • 仅支持数据append，不支持文件的svjixqg

组成架构

文件块大小

• 块设置太小，会增加寻址时间，程序一直在找块的开始位置
• 设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块数据时会非常慢。

HDFS块的大小设置主要取决于磁盘传输速度

读写流程

写#

1. 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
2. NameNode返回是否可以上传。
3. 客户端请求第一个 Block上传到哪几个DataNode服务器上。
4. NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
5. 客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成
6. dn1、dn2、dn3逐级应答客户端。
7. 客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答
8. 当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）

网络拓扑-节点距离计算#

在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据

节点距离：两个节点到达最近的共同祖先的距离总和。

可以理解为二叉树最近的公共祖先

机架感知（副本存储节点选择）#

• 第一个副本选在Client上，因为在本地速度会快
• 第二个在另一个机架的随机节点，因为保证可靠性
• 第三个还是在第二个副本的地方，因为这样比较有效率

读#

1. 客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
2. 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
3. DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）
4. 客户端以Packet为单位接收，先在本地缓存，然后写入目标文件