Hadoop学习笔记（三）Hadoop的hdfs的原理和运行机制

hadoop帮助文档：https://hadoop.apache.org/docs/stable/

hadoop的中文文档：https://hadoop.apache.org/docs/current1/api/

HDFS原理：

HDFS分块存储思想： 用hdfs存储数据应该考虑每个节点负载均衡。Hadoop2.xx中默认块大小为128MB，当数据大小小于128MB也是单独存一个块。

HDFS默认备份思想：用hdfs存储数据块默认备份个数为3，在hdfs-site.xml中dfs-replication设置个数。备份的数据块存放在不同的机架（节点）上

副本之间不存在优先主次关系。

 

 

 DataNode：大方块中的蓝色方块

 

 

 

 心跳检测：检测状态信息

 

 

HDFS的优缺点：

  

 

 

 FS Shell

 

 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html