HDFS文件块

知识点补充

HDFS优缺点：

　　优点

　　（1）高容错性。节点存放的副本比较多。

　　（2）适合处理大数据。 GB、TB、PB级别的数据都可以处理。

　　（3）可以构建在廉价的机器上，通过多副本机制来提高可靠性。

　　缺点

　　（1）不是低延时数据的处理，如毫秒级的数据操作（mysql）

　　（2）无法高效地对大量小文件进行存储。

　　　　存储大量小文件时会占用NameNode大量的内存来存放文件目录信息和块信息，但是NameNode的内存有限。

　　　　小文件存储的寻址时间会超出他的读取时间，这违反了HDFS的设计。

　　（3）不支持并发写入和文件的随机修改。

HDFS的组成（架构）

　　NameNode

　　(1)管理HDFS的名称空间（2）配置副本策略（3）管理数据块（Block）的映射信息（4）处理客户端的读写操作

　　，SecondaryNameNode,

　　DataNode

　　（1）存储实际数据块（2）执行数据块的读写操作

　　Client

　　（1）将用户上传的文件切分为若干个block，然后上传（2）与NameNode进行交互，获取文件的位置信息。

　HDFS文件块Block大小（重点）

　　（1）HDFS文件在物理上是以文件块的形式存储的，每个文件块都有大小限制，且文件没有沾满单个文件块不会占用多余的空间。块的大小可由参数dfs.blocksize来进行配置。

　　（2）一般文件的寻址时间即为寻找目标块的时间。

　　（3）文件的寻址时间为文件传输时间的1%，为最佳状态。

　　（4）普通磁盘的传输速率为100MB/s(128MB/s).

 

　　HDFS的块设置太小会增加文件的寻址时间，太大磁盘传数据的时间会明显大于块寻址的时间，程序处理数据会非常慢。

　　HDFS块大小设置主要取决于磁盘传输速率。