我的定位:中高级人才(框架熟练、Java语法精通、数据库会用、Linux会用、中间件会用、有大数据经验!)
开始,我以为自己什么都知道。后来发现,其实我什么都不知道。

HDFS01

==============NameNode==============

管理文件系统的命名空间

记录每个文件数据在各个DataNode上的位置和副本信息

协调客户端对文件的访问

NameNode文件解析 ----->

VERSION 版本信息,文件系统标识符

seen_txid 事务管理用文件

 

fsimage_* 元数据文件

fsimage_*.md5 元数据文件

edits_* 元数据文件

==============DataNode==============

负责所在物理节点的存储管理

一次写入,多次读取(不修改)

文件由数据块组成,典型的块大小是64MB

数据块尽量散布到各个节点

DataNode文件解析 ----->

blk_<id>:HDFS的数据块,保存具体的二进制数据

blk_<id>.meta:数据块的属性信息:版本信息、类型信息

posted @ 2017-06-24 17:29  想太多先森  阅读(110)  评论(0编辑  收藏  举报