大数据学习总结11

1、HDFS 文件写入过程

 

2、HDFS 文件读取过程

 

3、HDFS 的元数据辅助管理

当 Hadoop 的集群当中, NameNode的所有元数据信息都保存在了 FsImage 与 Eidts 文件当中, 这两个文件就记录了所有的数据的元数据信息

• edits

  • edits 存放了客户端最近一段时间的操作日志

  • 客户端对 HDFS 进行写文件时会首先被记录在 edits 文件中

  • edits 修改时元数据也会更新

• fsimage

  • NameNode 中关于元数据的镜像, 一般称为检查点, fsimage 存放了一份比较完整的元数据信息

  • 因为 fsimage 是 NameNode 的完整的镜像, 如果每次都加载到内存生成树状拓扑结构，这是非常耗内存和CPU, 所以一般开始时对 NameNode 的操作都放在 edits 中

  • fsimage 内容包含了 NameNode 管理下的所有 DataNode 文件及文件 block 及 block 所在的 DataNode 的元数据信息.

  • 随着 edits 内容增大, 就需要在一定时间点和 fsimage 合并