HDFS读写数据流程

HDFS的组成

1.NameNode:存储文件的元数据,如文件名,文件目录结构,文件属性(创建时间,文件权限,文件大小)
以及每个文件的块列表和块所在的DataNode等。类似于一本书的目录功能。
2.DataNode:在本地文件系统存储文件块数据,以及块数据的校验和。
3.SecondaryNameNode:用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

HDFS写数据流程

HDFS写数据流程

1.HDFS客户端向NameNode请求是否可以上传该文件
2.NameNode返回客户端可以上传该文件
3.客户端请求NameNode索要文件上传DataNode路径
4.NameNode返回客户端上传的DataNode地址
5.客户端根据返回的DataNode,与其建立通道
6.DataNode应答成功
7.客户端上传数据

HDFS读数据流程

HDFS读数据流程

1.HDFS客户端向NameNode请求下载文件
2.NameNode返回目标文件的元数据信息
3.客户端请求读取目标文件所在DataNode
4.DataNode向客户端传输数据

本博客仅为博主学习总结,感谢各大网络平台的资料。蟹蟹!!

posted @ 2019-05-20 11:10  趣学程序  阅读(202)  评论(0编辑  收藏  举报