HDFS 笔记

HDFS

Hadoop fs命令、

　　hadoop fs <>

 

三节点集群搭建。

本地文件系统与hdfs相隔离。

 

hdfs dfs <>

 

start-all.sh在哪里？

cd $HADOOP

 

/opt/bigdata/hadop-2.7.3/etc/hadoop

slaves文件内容 看一看。

 

ssh node-02 -> datanode

？？？

 

jsp查看进程

 

hdfs原理：（面试）

fault recovery

每个快都会有副本。128M最大切分。

 

一个datanode对应一个机器？

hdfs-site.xml配置

configuration

文档：https://hadoop.apache.org/docs/r2.7.3

 

blk保存在机架的灵活性，如何配置。

机架感知。 

副本零时性增多，提高吞吐量。

hadoop fs -settrep -R 4 /path

 

hdfa fsck /salary.txt -files -bllocks -locations

通过网页也可以查看：node-01:50070

 

4 HDFS 主从架构

读取方式

B1->dn1, dn2, dn3

B2->dn4,dn2, dn1

元数据->namenode 内存 namenode取回然后去各个block，组成hadoop.dat

 

HDFS适合大文件

HDFS有上限，因为每个元数据150Byte，而内存是有限的，故适合储存大文件

 

HDFS会将内存储存在硬盘上为了安全

Fsimage

Edits log

 

Secondary namenode

双缓存异步写

当t-t1>1h 触发Check-point

 

心跳机制

10min以上 视为datanode挂掉

1小时 block report

 

短路径

 官网

负载均衡

磁盘利用率差值变小