HDFS
HDFS的使用场景
适合一次写入,多次读出的场景,且不支持文件的修改。
HDFS优点和缺点
优点
- 高容错性
- 适合处理大数据
- 可构建在廉价机器上,并通过多副本机制提高可靠性
缺点
- 不适合低延时数据访问
- 无法高效的对大量小文件进行存储(小文件的寻址时间会超过读取时间,违反HDF的设计目标)
- 不支持并发写入,文件随机修改(仅支持数据的追加)
HDFS文件块的大小(重点)
HDFS中的文件是分块存储(Block),块的大小通过参数(dfs.blocksize)来控制
默认大小 128M(2.x)64M(1.x)
如何规定的默认大小(主要取决于磁盘传输速率)
-
寻址时间约10ms,
-
寻址时间为传输时间的1%时,则为最佳状态。
-
目前磁盘的传输速率普遍100MB/s
-
传输时间:10ms / 0.01 = 1s
-
block大小: 1s * 100MB/s = 100MB
常用命令
启动Hadoop集群
sbin/start-dfs.sh
sbin/start-yarn.sh
上传
-
-moveFromLocal 剪切粘贴
hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo
-
-copyFromLocal(-put) 复制粘贴
hadoop fs -copyFromLocal README.txt /
hadoop fs -put ./liubei.txt /user/atguigu/test/
-
-appendToFile 追加到一个文件(已经在HDFS中存在)的文件末尾
hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt
下载
-
-copyToLocal(-get) 复制粘贴
hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./
hadoop fs -get /sanguo/shuguo/kongming.txt ./
-
-getmerge 合并下载多个文件(不会对HDFS中的文件进行合并)
hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt
HDFS直接操作
-
-du 统计文件夹的大小信息
hadoop fs -du -h /user/atguigu/test
-
-setrep 设置HDFS中文件的副本数量
(最终副本量还是取决于节点数 这里只是改了设置只有节点数达到才生效)
hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt
HDFS写数据流程
网络拓扑(节点距离计算)
在HDFS写数据的过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢?(节点距离:两个节点到达最近的共同祖先的距离总和。)
拓扑排序
机架感知(副本存储节点选择)
副本节点选择
- 第一个副本:在Client所处的节点上,如果客户端在集群外,随机选一个
- 第二个副本:在另一个机架的随机一个节点
- 第三个副本:在第二个副本所在机架的随机节点
补充
-- Client为什么是以串行的方式建立通道?
-- 本质上就是为了降低client的IO开销
-- 数据传输的时候如何保证数据成功?(了解)
-- 采用了ack回执的策略保证了数据完整成功上传。
HDFS读数据流程
NameNode和SecondaryNameNode(重点)
NameNode的元数据存储
元数据存放在内存中,磁盘中备份元数据的FsImage,防止节点断电后数据丢失,引入Edits文件(只进行追加操作,效率高)每当元数据有更新或者添加元数据时,修改内存中的元数据并追加到Edits。断电后可以通过FsImage和Edits的合并,合成元数据。
但是,如果长时间添加数据到Edits中,会导致该文件数据过大,效率降低,而且一旦断电,恢复元数据需要的时间过长。因此,需要定期进行FsImage和Edits的合并,如果这个操作由NameNode节点完成,又会效率过低。因此,引入一个新的节点SecondaryNamenode,专门用于FsImage和Edits的合并。
NN和2NN工作机制
补充
谁负责对NN的元数据信息进行合并?
2NN主要负责对NN的元数据精心合并,当满足一定条件的下,2NN会检测本地时间,每隔一个小时会主动对NN的edits文件和fsimage文件进行一次合并。合并的时候,首先会通知NN,这时候NN就会停止对正在使用的edits文件的追加,同时会新建一个新的edits编辑日志文件,保证NN的正常工作。接下来 2NN会把NN本地的fsimage文件和edits编辑日志拉取2NN的本地,在内存中对二者进行合并,最后产生最新fsimage文件。把最新的fsimage文件再发送给NN的本地。注意还有一个情况,当NN的edits文件中的操作次数累计达到100万次,即便还没到1小时,2NN(每隔60秒会检测一次NN方的edits文件的操作次数)也会进行合并。2NN 也会自己把最新的fsimage文件备份一份。
DataNode(面试开发重点)
DataNode工作机制
掉线时限参数设置
- DataNode进程死亡或网络故障造成DataNode无法与NameNode通信
- NameNode不会立即把该节点判定为死亡,默认要经过10分钟+30秒
- 自定义时间为2*dfs.namenode.heartbeat.recheck-interval +10**dfs.heartbeat.interval
需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>300000</value>
</property>
<property>
<name>dfs.heartbeat.interval</name>
<value>3</value>
</property>
服役新数据节点
- 直接启动DataNode,即可关联到集群
hdfs --daemon start datanode
yarn --daemon start nodemanager
- 如果数据不均衡,可以用命令实现集群的再平衡
./start-balancer.sh
DataNode多目录配置
在hdfs-site.xml文件中添加如下内容
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>
图解HDFS数据原理
HDFS写数据原理![image](https://img2022.cnblogs.com/blog/1966542/202207/1966542-20220726163419779-371535091.png)
HDFS读数据原理
HDFS故障类型和其检测方法![image](https://img2022.cnblogs.com/blog/1966542/202207/1966542-20220726163534933-599340258.png)