HDFS基础之NN、SNN、DN
####一、HDFS架构
####二、HDFS详解
NameNode(NN):名称节点
1
文件系统的命名空间
1)、文件名称
2)、文件目录结构
3)、文件的属性(权限、创建时间、副本数等)
4)、文件对应哪些数据块——》这些数据存储在哪些DataNode上
不会持久化存储这种映射关系,是通过集群的启动和运行时,DataNode定期的发送BlockReport给NN,以此NN在【内存】中动态维护这种映射关系。
存储:维护文件系统树及整个树内的所有文件和目录,这些信息以两种文件形式永久保存在本地磁盘上,即:命名空间镜像文件fsimage + 编辑日志editlog
Secondary NameNode(SNN):第二名称节点
1
存储:命名空间镜像文件fsimage + 编辑日志editlog
作用:定期合并fsimage + editlog文件为新的fsimage,推送给NN,成为检查点checkpoint
参数:dfs.namenode.checkpoint.period: 3600 秒
实验: NN挂了,SNN去恢复(企业不用)
企业: HDFS HA
YARN HA
DataNode(DN):数据节点
1
存储:数据块+数据块校验和
与NN通信:
1)、每隔3秒发送一次心跳
参数:dfs.heartbeat.interval
2)、每隔10次心跳发送一次BlockReport(30s)
参数:dfs.namenode.heartbeat.recheck-interval
####三、Block(数据块)
大小
64M
128M
参数:dfs.blocksize
####四、副本数
dfs.replication : 3
一个块会变为3个块
hadoop2.x一般公司就3个
hadoop3.0 : 1.5(新特性 纠删码) 1+0.5
####五、副本放置策略
第一副本:放置在上传文件的DataNode上;如果是集群外提交,则随机挑选一台磁盘不太慢、CPU不太忙的节点上;
第二副本:放置在与第一副本不同的机架的节点上;
第三副本:与第二副本相同机架的不同节点上。
————————————————
版权声明:本文为CSDN博主「聒噪鱼」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/spider_lily/article/details/79058132