HDFS 构架笔记（一）

HDFS分为Master（NameNode/NN） +N个Slaves（DataNode/DN）

 

集群里只有一个机器上运行NN，其他每台机器上运行一个DN（也可以一个机器上运行多个DN，但生产环境中不建议这么做），一个DN切割n个Block，DN中的Block，只有最后一个才有可能大小不一，其他是一样的，block的默认大小是128，也可以自行设置

 

NN职责：

1、负责客户端请求的响应

2、负责元数据（文件的名称、副本的系数、Block存放的DN）的管理

DN职责:

1、存储用的文件对应的数据块（Block）

2、要定期向NN发送心跳信息，汇报本身及其所有的Block信息。健康状态

 

 

1个文件会被拆分成多个Block

1个Block默认大小是128M

例：一个文件是130M>>2个Block（128M Block、2M Block），每个Block都以多副本的形式存储

官方图解：

图解：part-0分了两个Block（1和2），1存在第一、三个DN上，2存在第一、二、四个DN上，part-1也是如此存储

 

HDFS副本摆放机制：

第一个副本放在与原数据同一机架上，第二个放在与第一个不同的相对空闲机的架上，第三个放在与第二个相同机架的不同节点上，第四、五等等（若是有）就随机放在其他机架上