大数据学习总结08

Hadoop 核心-HDFS 

一、HDFS概述

在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在 集群上的文件系统称为分布式文件系统 。HDFS(Hadoop Distributed File System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常 适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存 储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统.

二、HDFS应用场景

1、适合的应用场景
①存储非常大的文件:这里非常大指的是几百M、G、或者TB级别,需要高吞吐量,对延时 没有要求。

②采用流式的数据访问方式: 即一次写入、多次读取,数据集经常从数据源生成或者拷贝一 次,然后在其上做很多分析工作 。 运行于商业硬件上: Hadoop不需要特别贵的机器,可运行于普通廉价机器,可以处节约成本

③需要高容错性
④为数据存储提供所需的扩展能力

2、不适合的应用场景
①低延时的数据访问 对延时要求在毫秒级别的应用,不适合采用HDFS。HDFS是为高吞吐数 据传输设计的,因此可能牺牲延时
②大量小文件 文件的元数据保存在NameNode的内存中, 整个文件系统的文件数量会受限 于NameNode的内存大小。 经验而言,一个文件/目录/文件块一般占有150字节的元数据内存 空间。如果有100万个文件,每个文件占用1个文件块,则需要大约300M的内存。因此十亿级 别的文件数量在现有商用机器上难以支持。
③多方读写,需要任意的文件修改 HDFS采用追加(append-only)的方式写入数据。不支持 文件任意oset的修改。不支持多个写入器(writer)

三、HDFS架构

HDFS是一个 主/从(Mater/Slave)体系结构,HDFS由四部分组成,HDFS Client、NameNode、DataNode和Secondary NameNode。

 

 

 


1、Client:就是客户端。
·文件切分。文件上传 HDFS 的时候,Client 将文件切分成 一个一个的Block,然后进行存 储。

·与 NameNode 交互,获取文件的位置信息。

·与 DataNode 交互,读取或者写入数据。

·Client 提供一些命令来管理 和访问HDFS,比如启动或者关闭HDFS。

2、NameNode:就是 master,它是一个主管、管理者。
·管理 HDFS 的名称空间

·管理数据块(Block)映射信息

·配置副本策略

·处理客户端读写请求。
3、DataNode:就是Slave。NameNode 下达命令,DataNode执行实际的操作。
·存储实际的数据块。

·执行数据块的读/写操作。
4、Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。
·辅助 NameNode,分担其工作量。

·定期合并 fsimage和fsedits,并推送给NameNode。

·在紧急情况下,可辅助恢复NameNode。

 

四、NameNode和DataNode 

1、NameNode作用

NameNode在内存中保存着整个文件系统的名称空间和文件数据块的地址映射 整个HDFS可存储的文件数受限于NameNode的内存大小
·NameNode元数据信息 文件名,文件目录结构,文件属性(生成时间,副本数,权限)每个 文件的块列表。 以及列表中的块与块所在的DataNode之间的地址映射关系 在内存中加载文件 系统中每个文件和每个数据块的引用关系(文件、block、datanode之间的映射信息) 数据会定 期保存到本地磁盘(fsImage文件和edits文件)
·NameNode文件操作 NameNode负责文件元数据的操作 DataNode负责处理文件内容的读写请求,数据流不经过NameNode,会询问它跟那个DataNode联系
·NameNode副本 文件数据块到底存放到哪些DataNode上,是由NameNode决定的,NN根 据全局情况做出放置副本的决定
·NameNode心跳机制全权管理数据块的复制,周期性的接受心跳和块的状态报告信息(包含该DataNode上所有数据块的列表)若接受到心跳信息,NameNode认为DataNode工作正常,如果在10分钟后还接受到不到DN的心跳,那么NameNode认为DataNode已经宕机 ,这时候 NN准备要把DN上的数据块进行重新的复制。块的状态报告包含了一个DN上所有数据块的列表,blocks report每个1小时发送一次.

2、DataNode作用提供真实文件数据的存储服务。
·DataNode以数据块的形式存储HDFS文件
·DataNode响应HDFS 客户端读写请求
·DataNode周期性向NameNode汇报心跳信息
·DataNode周期性向NameNode汇报数据块信息
·DataNode周期性向NameNode汇报缓存数据块信

posted @ 2020-08-22 18:26  MoooJL  阅读(105)  评论(0编辑  收藏  举报