Hadoop HDFS 源码解析记录

版权说明: 本文章版权归本人及博客园共同所有,转载请标明原文出处( https://www.cnblogs.com/mikevictor07/p/12047502.html ),以下内容为个人理解,仅供参考。

文本参考书籍《Hadoop2.x HDFS源码剖析》编写。

 

一、HDFS体系结构

 

 

1、数据块Block

  最小存储单元,默认128MB,适合大文件存储,减少寻址和内存开销。

 

2、Namenode

  文件系统命名空间,含目录、文件的数据块索引,索引存储在内存中,文件越多占用内存越大。

同时存储命名空间镜像文件(FsImage)与编辑日志文件(EditLog),文件的变更先写入日志文件中。

2.X版本引入HA功能,通常通过Journal Nodes保持多主间EditLog同步。再加入ZKfailoverController进行主备切换操作(也可人工切换)。

 

3、Datanode

  数据存储节点,执行数据块的创建、删除、复制等操作。

 

4、Secondary Namenode

  由于Namenode 合并EditLog和FsImage非常耗时,特别在大型集群中。故增加一个secondary namenode负责定时从namenode获取(HTTP)EditLog并且合并到FsImage中,耗时的合并工作完成后将新的FsImage传回namenode。

 

 

二、HDFS主要流程

 

  2.1 客户端的读取

 

1、调用DistributedFileSystem.open打开文件(底层调用DFSClient.open)并创建HdfsDataInputStream。

2、通过调用DFSClient.getBlockLocations获取数据块所在的datanode节点列表,根据排序规则选择一个datanode建立连接获取数据块,当此数据块读取完毕后,再次向namenode获取下一个数据块。依次循环。

 

2.2 客户端写入流程

 

image.png

 

1、通过调用DistributedFileSystem.create在底层调用DFSClient.create发送通知namenode创建文件。

2、获取输出流后就可以调用DFSOutputStream写数据,空文件时就会调用Clientprotocol.addBlock向Namenode申请一个数据块并返回LocatedBlock,此对象包含该数据块的所有节点信息,后续即可往其中一节点write数据。

 

2.3 HA切换流程

image.png

 

Hadoop 2.X之前版本NN存在单点故障,HA功能提供一个active NN与一个standby NN,命名空间实时同步。Active NN修改命名空间时同时通知多数的Quorum Journal Nodes(JNS),standby NN监听JNS中的editlog变化,并与自身的命名空间合并,当发生切换时,需要等待standby合并JNS上的所有editlog后才会进行切换。

    ZKFailoverController会实时监控NN的状态,如果active NN处于不可用状态则进行自动主备切换,不需要人工干预,当然管理员也可用DFSHAAdmin命令进行手工切换。

 

三、NameNode

   

3.1 文件目录树

    HDFS命名空间在内存中以树结构存储,目录与文件抽象为INode节点,目录为INodeDirectory,文件为INodeFile。目录有List<INode> children存储子目录或文件(内部使用二分法做检索),HDFS命名空间存储在本地系统FsImage文件中,启动时加载,与此同时NN会定期合并fsimage与editlog,editlog操作类为FSEditLog。

    INodeFile主要成员变量:

        private long header = 0L;  # 文件头信息

        private BlockInfoContiguous[] blocks;  # 数据块与数据节点关系

 

3.2 数据块管理

    1、NameNode启动时从fsimage加载文件与数据块之前的关系,数据块存储在哪些节点上具体是由datanode启动时向NN上报数据块信息时才能构建。

    2、BlockMap在NN中存储数据块与节点的关系,该关系则由DN上报时更新。

 

3.3 数据节点管理

    1、添加和撤销DN:HDFS提供的dfs.hosts可配置include和exclude,如果节点下线则配置exclude并执行dfsadmin -refreshNodes后NN开始进行撤销,下线的节点数据会复制到其他节点上,此时DN则处于正在被撤销状态,复制完毕后DN状态则变成已撤销。

    2、DN启动需要向NN握手、注册于上报数据块,并定期发送心跳包。

 

3.4 NN的启动与停止

    1、NN启动由NameNode类的main方法执行,并调用createNameNode方法进行初始化。调用FSNamesystem.loadFromDisk进行fsimage与editlog。

    2、NN的停止则是通过启动时注册JVM的ShutdownHook,当JVM退出时调用,并输出一些退出日志。

 

四、数据节点DN

    HDFS 2.X DN使用Federation架构,可配置多个命名空间,每个命名空间在DN中对应一个池。DN的启动由DataNode类的main方法执行,关闭也是注册了JVM的钩子。

image.png

    1、DataBlockScanner扫描数据块并检查校检和是否匹配。

    2、DirectoryScanner定时扫描内存元数据与磁盘是否有差异,如有则更新内存。

    3、IPCServer为RPC服务端,接收Client、NN、DN的RPC请求。

    4、DataXceiverServer用于流式数据传输。

 

4.1 DN磁盘存储与读写

   1、DFSStorage管理数据块,管理磁盘存储目录(dfs.data.dir),dfs.data.dir可定义多个存储目录,不同目录磁盘克异构。

    2、DataTransferProtocol定义了基于TCP流的数据访问接口,包含Sender和Receiver,流程如下图:

image.png

 

 

五、HDFS常用工具

    1、FsShell :  bin/hadoop fs <args>

    2、DFSAdmin: bin/hdfs dfsadmin <args>

 

posted @ 2019-12-16 15:39  mikevictor  阅读(2185)  评论(0编辑  收藏  举报