Hadoop - HDFS 概述
什么是HDFS
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。
HDFS的优缺点
- 优点
1、高容错
（1）数据自动保存多个副本。它通过增加副本的形式，提高容错性。
（2）当一个副本丢失以后，它可以自动恢复。
2、适合处理大数据
（1）数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
（2）文件规模：能够处理百万规模以上的文件数量，数量相当之大。
3、可构建在廉价机器上，通过多副本机制，提高可靠性。
- 缺点
1、不适合低延时数据访问，比如毫秒级的存储数据。
2、无法高效的对大量数据小文件进行存储
（1）存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。
（2）小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
3、不支持并发写入、文件随机修改
（1）同一时间一个文件只能有一个用户执行写操作，不允许多个线程同时写。
（2）仅支持数据append追加，不支持文件的随机修改。
HDFS的文件块大小
HDFS的文件在物理上是分块存储的，块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。
如果寻址时间为10ms，即查到目标block的时间为10ms。
寻址时间为传输时间的1%时，则为最佳状态。因此，传输时间=10ms/0.01=1000ms=1s
目前磁盘的传输速率普遍为100MB/s
block的大小=1s*100MB/s=100MB
HDFS的写数据流程
1、客户端通过
Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。2、
NameNode返回是否可以上传。3、客户端请求第一个 Block上传到哪几个DataNode服务器上。
4、
NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。5、客户端通过
FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。6、dn1、dn2、dn3逐级应答客户端。
7、客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
8、当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。
（重复执行3-7步）。
HDFS的副本配置策略
第一个副本在Client所在的节点上。如果客户端在集群外，随机选一个。
第二个副本和第一个副本位于同一机架，随机节点。
第三个副本位于不同机架的随机节点。
HDFS读数据的流程
1、客户端通过
Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。2、挑选一台
DataNode（就近原则，然后随机）服务器，请求读取数据。3、
DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。4、客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。
Q&A
Q1：为什么块的大小不能设置太小，也不能设置太大？
A：如果HDFS的块设置太小，会增加寻址时间，程序一直在找块的位置；如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。
HDFS块的大小设置主要取决于磁盘的传输速率。
