大数据之--------hadoop存储(HDFS)

Hadoop 的存储系统是 HDFS(Hadoop Distributed File System)分布式文件系统，对外部客户端而言，HDFS 就像一个传统的分级文件系统，可以进行创建、删除、移动或重命名文件或文件夹等操作，与 Linux 文件系统类似。

Client客户端

    文件切片,文件上传的时候,Client对上传的文件进行切片成一个一个block,然后进行存储

    与namenode交互,获取文件位置信息

    与datanode交互,读取或写入数据

    Client 提供一些命令来管理 和访问HDFS，比如启动或者关闭HDFS。

namenode

    管理HDFS的名称空间

    管理数据块的映射信息

    处理副本策略

    处理客户端的请求

    作用:

        1:namenode的元数据信息(文件名,目录,属性,每个文件的块列表)

        2:namenode文件操作  namenode负责文件元数据的操作

        3:namenode副本机制  文件的副本具体放在哪些datanode上是由namenode决定的

        4:namenode心跳机制  全权管理数据块的复制,周期性的接受心跳和块状态报告信息,每十分钟发送一次如果超过这个时间没有接受到请求会认为datanode已近宕机,会把数据块重新复制,块状态的报告包含所有数据块的列表每一小时发送一次

datanode

    存储实际的数据块

    执行数据块的读/写操作

        作用:

            1:datanode以数据块的方式存储HDFS

            2:datanode响应hdfs客户端的读写请求

            3:datanode周期向namenode发送心跳请求

            4:datanode周期向namenode汇报数据块信息

            5:datanode周期性向namenode汇报缓存数据块信息

seconddaynamenode

    辅助namenode,分担其工作量

    定期合并fsimage和fsedits,并推送给namenode

    紧急情况可以恢复namenode

文件的副本机制

    一个文件有可能大于集群中的任意一块磁盘,引入块机制,可以很好地解决这个问题

    使用块作为文件存储的逻辑单位可以很好的简化存储系统

    块非常适用于数据备份从而提供数据的容错能力

机架感知

    分布式文件存储系统内部有一个副本存放的策略

    第一个副本块存本机

    第二个副本快存同机架的其它服务器

    第三个副本快存放不同机架的服务器