HDFS Namenode&Datanode

HDFS Namenode&Datanode


HDFS 机制粗略示意图

客户端写入文件流程:

NN && DN


Namenode(NN)工作机制

NN是整个文件系统的管理节点。维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表(管理元数据)。接收用户的操作请求。

fsimage:元数据镜像文件。存储某一时段NN内存元数据信息
edits:操作日志文件
fstime:保存最近一次checkpoint的时间
(以上文件保存在linux文件系统中)

主流程

  1. 客户端上传文件时,NN首先往edits log文件中记录元数据操作日志
  2. 客户端开始上传文件,完成后返回成功信息给NN。NN就在内存中写入这次上传操作而新产生的元数据信息。既实现了客户端可以从内存中查询(读写速度比从磁盘快),又保证了可靠性(若断电内存中的信息丢失,则可以从edits log文件中找回)。
  3. 每当edits log写满时,由secondary namenode将这部分新的元数据合并到fsimage文件中(checkpoint操作)。

secondary namenode 的 checkpoint 操作

工作流程

  1. secondary通知namenode切换edits文件(改为写到edits.new)
  2. secondary从namenode获得fsimage和edits(通过http)
  3. secondary将fsimage载入内存,然后开始合并edits,产生新的fsimage
  4. secondary将新的fsimage发回给namenode
  5. namenode用新的fsimage替换旧的fsimage,并将edits.new重命名为edits

进行checkpoint的时间

  1. fs.checkpoint.period 指定两次checkpoint的间隔(默认3600秒)
  2. fs.chekpoint.size 规定edits文件的最大值,一旦超过则强制checkpoint,不管是否达到时间间隔(默认64M)

(以上可在hdfs-site.xml中设置)


Datanode(DN)工作原理

DN提供真实文件数据的存储服务。

文件块(block):最基本的存储单位。对于文件而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小顺序对文件进行划分并编号,划分好的每一块称一个block。
block的默认大小是128M,可以修改dfs.block.size参数进行更改

上传一个文件看看分块情况

上传 hadoop fs -put xxx(随便一个稍大一些的文件) /

打开datanode的数据文件夹 cd /app/hadoop-3.0.0/data/dfs/data/current/BP-1998331996-192.168.216.100-1521773499028/current/finalized/subdir0/subdir0

查看 du -sh *

能看到被分作了两个block,其中一个正是128M。(.mate是校验和文件不是一个block)

posted @ 2018-03-24 15:39  thousfeet  阅读(553)  评论(0编辑  收藏  举报
/* */