hadoop集群的读写流程和checkpoint

一、写流程

 

二、读流程

三、元数据,secondarynamenode

  元数据:抽象目录树、数据和块的映射关系、数据块的存储节点(相当于书籍的目录,方便查找)

  fsimage:文件是文件系统元数据的一个永久性检查点,包含文件系统中的所有目录和文件idnode的序列化信息。

  edits:文件系统的写操作首先把它记录在edit中

  secondarynamenode作为namenode的备份(默认是在同一节点,但是在同一节点备份没有意义),并且帮助namenode进行checkpoint

  通过修改hdfs-site.xml文件,指定secondarynamenode的地址

    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hdp-07:50090</value>
    </property>

四、checkpoint

 

posted @ 2020-02-29 16:39  幻世纪  阅读(408)  评论(0编辑  收藏  举报