Hadoop4-HDFS分布式文件系统原理
一、简介
1、分布式文件系统集群结构
分布式文件系统由计算机集群中的多个节点构成，这些节点分为两类：
主节点（MasterNode）或者名称节点（NameNode）
从节点（Slave Node）或者数据节点（DataNode）
2、HDFS能够带来什么好处
兼容廉价的硬件设备
流数据读写
大数据集
简单的文件模型
强大的跨平台兼容性
3、局限性
不适合低延迟数据访问
无法高效存储大量小文件
不支持多用户写入节任意修改文件
二、概念
1、块
HDFS默认一个块64MB，一个文件被分成多个块，以块为存储单位，2.x新版本中是128MB
块的大小远大于普通文件系统，可以最小化寻找开销
HDFS采用抽象的块概念可以带来一下几个明显的好处：
支持大规模文件存储：文件以块为单位进行存储，一个大规模文件可以被分拆成若干各文件块，不同文件块被分发到不同节点，因此，一个文件的大小不会受到单个节点存储容量限制，可以远大于网络中任意节点的存储容量
简化系统设计：简化了存储管理，因为文件块大小固定，这样可以非常容易算出一个几点可以存储多少块，其次方便了元数据的管理，元数不需要和文件块一起存储，可以由其他系统负载管理元数据
适合数据备份：每个文件块都可以冗余存储到多个节点上，提高了系统容错和可用性
2、名称节点
名称节点负责管理分布式文件系统的命令空间（Namespace），保存了两个核心的数据结构，即Fslmage和EditLog
Fslmage用于维护文件系统树以及文件树中所有的文件和文件夹的元数据
操作日志文件EditLog中记录了所有针对文件的创建、删除、重命名等操作
名称节点记录了每个文件中个板块所在的数据节点的位置信息
3、Fslmage文件
Fslmage文件包含文件系统中所有目录和文件inode的序列化形式，每个inode是一个文件或目录的元数据内部表示，并包含此类信息：文件的复制等级、修改和访问时间、访问权限、块大小以及组成文件的块。对于目录，则存储修改时间、权限和配额元数据
Fslmage文件没有记录块存储在哪个数据节点。而是由名称节点把这些映射保留在内存中，当数据节点加入HDFS集群时，数据节点会把自己所包含的块列表告知给名称节点，此后会定期执行这种告知操作，以确保名称节点的块映射时最新的
4、名称节点的启动过程
1）启动名称节点---》将FsImage文件---》加载到内存---》执行EditLog---》同步---》内存中的元数据客户可读
2）内存与元数据映射完成---》创建新的Fslmage文件+空的Editlog文件
说明：名称节点起来后，HDFS中的更新操作会重新写到Editlog文件中，因为Fslmage文件一般都很大（GB级别的很常见），如果所有的更新操作都往Fslmage文件中添加，这样会导致系统运行的十分缓慢，但是，如果往EditLog文件里面写就不会这样，因为EditLog要小很多，每次执行写操作之后，且在向客户端发送成功代码之前，edits文件都需要同步更新
5、名称节点运行期间EditLog不断变大的问题
运行期间HDFS的所有操作---》写到EditLog---》时间（久而久之）---》EditLog文件将变得非常大
对运行中HDFS影响不大，但是一旦重启Fslmage里面的所有内容映像到内存中，然后在一条一条执行EditLog，当EditLog文件非常大的时，就会导致名称节点启动非常缓慢，并且此期间是安全模式，无法提供写操作，影响用户使用
解决此问题就需要SecondaryNameNode第二名称节点
6、第二名称节点SecondaryNameNode
1）它用来保存名称节点中对HDFS元数据信息的备份，并减去名称节点重启的时间，一般是单独运行在一台机器上
2）SecondaryNameNode工作情况
1、SecondaryNameNode定期于NameNode通信，请求停止使用EditLog文件，暂时将新的写操作写到要给新的文件edit.new,此操作瞬间完成，上层写日志函数感觉不到差别
2、SecondaryNameNode通过HTTP GEt从NameNode上获取FsImage/EditLog文件下载到本地的相应目录下
3、SecondaryNameNode将下载的Fslmage载入内存然后一条条执行EditLog中的操作，使得内存中的Fslmage保持最新，这个就是EditLog和FsImage文件合并
4、SecondaryNameNode执行完合并会通过post方式将新的FsImage文件发送到NameNode节点
5、NameNode将从SecondaryNameNode接收到的新的FsImage替换就的FsImage文件，同时将edit.new替换EditLog文件，这时EditLog就变小了
7、数据节点DataNode
数据分布在各节点，数据节点负责数据的存储和读取，会根据客户端或名称节点的调度进行数据的存储和检索，并且向名称节点定期发送所存储的块的列表
三、体系结构
HDFS采用了主从（M/S）结构模型，名称节点作为中心服务器，管理文件系统的命名空间即客户端文件的访问。数据节点负责进行客户端的读/写请求，在名称节点的调度吓进行数据的创建、删除、复制操作
1、命名空间
HDFS的命名空间包含目录、文件、块
HDFS使用传统的分级文件体系，因此，可以像使用普通文件系统一样，创建/删除目录和文件，及在目录间转移重命名等
2、通信协议
HDFS通信协议都是构建在TCP/IP协议基础之上
客户端通过一个可配置端口向名称节点发起tcp链接，并使用客户端协议与名称节点进行交互
名称节点和数据节点间使用数据节点协议进行交互
客户端与数据节点的交互是通过RPC（Remote Procedure Call）来实现的。在设计上，名称节点不会主动发起RPC，而是响应来自客户端和数据节点的RPC请求
3、客户端
客户端就是用户操作HDFS的方式，HDFS在部署时都提供了客户端
HDFS客户端时一个库，包括HDFS文件系接口，这些接口隐藏了HDFS实现中的大部分复杂性
严格来说客户端并不是HDFS的一部分
客户端支持打开、读写、写入等常见的操作，并且提供了类似shell的命令行方式来访问HDFS中的数据
HDFS也提供了Java API，作为应用程序访问文件系统的客户端编程接口
4、局限性
HDFS只设置了一个名称节点，这样做的好处时简化系统设计，但是也带了局限性：
1）命名空间的限制：名称节点时保持在内存中，因此名称节点能够容纳对象（文件、块）的个数会收到内存大小限制
2）性能瓶颈：整个分布式文件系统的吞吐量，受限单个名称节点的吞吐量
3）隔离问题：由于集群中只有一个名称节点，只有一个命名空间，因此，无法对不同应用程序进行隔离
4）集群的可用性：一旦唯一的名称节点发送故障，整个集群不可用
四、存储原理
1、冗余数据保存
HDFS采用了多副本方式对数据进行冗余，多副本方式优点：
1）加快数据传输速度
2）容易检查数据错误
3）保证数据可靠性
2、数据存取策略
1）数据存放
第一个副本：放在上传文件的数据节点，如果集群外提交，随机选一台磁盘不太满、cpu不太忙的节点
第二个副本：放置在与第一个副本不同的机架的节点上
第三个副本：与第一个副本相同机架的其他节点上
更多副本：随机
3、数据读写
hdfs提供了一个API可以确定一个数据节点所属的机架ID，客户端也可以调用API获取自己所属机架ID
当客户端读取数据时，名称节点获得数据块不同的位置列表，列表中包含了副本所在数据节点，发现某个数据数据库副本对应的机架ID和客户端对应机架ID相同，就优先选择该副本读取数据，如没有就随机读取
4、容错-数据错误与恢复
HDFS具有较高的容错性，可以兼容廉价硬件，它把依你高见出错看作一种常态，还有机制检测数据错误和自动恢复，容错性主要由名称节点出错、数据节点出错、数据出错。
1）名称节点出错
回顾：Fslmage，Editlog
如果整个两个文件损坏，那么HDFS实例将失效
hdfs提供SecondaryNameNode，将会备份这两个文件，在必要的时候Fslmage，Editlog数据进行恢复
2）数据节点出错
心跳信息定期向名称节点报告自己状态，如果出问题，就会被标记为宕机，节点上的数据被标记不可读，名称节点将不会给他们发送任何I/O请求
如出现问题，一些数据节点不可用可能会导致一些数据库副本数量小于冗余因子，名称节点会定期进行检测，一旦发生这种情况会启动数据冗余复制，为它生成新的副本
HDFS和其他分布式文件系统最大的区别就是可以调整冗余数据位置
3）数据出错
由网络磁盘等错误的因素都会导致数据错误，客户端读取到数据后都会进行md5/sha1对数据进行校验，以确定读取到正确的数据
在创建文件时，客户端会对每个文件进行信息摘录，并把这些信息写入到一个路径的隐藏文件
客户端读取文件时，先读取信息摘录，然后利用该信息进行校验，如果出错，客户端就会请求到另外的节点读取，并向名称节点报告，名称节点会定期检测并且重新复制
五、数据读取过程
1、读取文件
简单流程就是：打开文件--》获取数据块信息--》读取请求--》读取数据--》获取数据块信息--》读取数据--》关闭文件
2、写数据过程
简单流程：创建文件--》创建文件元数据--》写入数据--》--》写入数据包--》接收确认包--》关闭文件--》写操作完成
完全参考学习：http://dblab.xmu.edu.cn/blog/290-2/
转载请注明出处：https://www.cnblogs.com/zhangxingeng/p/11819418.html
