HDFS-简介
HDFS(Hadoop Distributed File System)：Hadoop分布式文件系统
概念
数据块
HDFS上的文件被划分为块大小的多个分块（chunk），作为独立的存储单元。在2.X版本默认块大小为128MB，旧版本块大小默认为64MB。
-
查看文件块大小和副本数
## 语法 hadoop fs [generic options] -stat [format] <path> ... ## format 格式 %b：打印文件大小（目录为0） %n：打印文件名 %o：打印block size （我们要的值） %r：打印备份数 %y：打印UTC日期 yyyy-MM-dd HH:mm:ss %Y：打印自1970年1月1日以来的UTC微秒数 %F：目录打印directory, 文件打印regular file 当使用-stat选项但不指定format时候，只打印文件创建日期，相当于%y [hadoop@pg1 soft]$ hadoop fs -put ./jdk-8u202-linux-x64.tar.gz / [hadoop@pg1 soft]$ hadoop fs -ls / Found 4 items drwxr-xr-x - hadoop supergroup 0 2020-09-07 09:48 /hadoop drwxr-xr-x - hadoop supergroup 0 2020-09-09 10:18 /hbase -rw-r--r-- 2 hadoop supergroup 194042837 2020-09-25 09:28 /jdk-8u202-linux-x64.tar.gz drwxrwx--- - hadoop supergroup 0 2020-09-07 09:00 /tmp [hadoop@pg1 soft]$ hadoop fs -stat "%o %r" /jdk-8u202-linux-x64.tar.gz 134217728 2 [hadoop@pg1 soft]$jdk-8u202-linux-x64.tar.gz文件块大小为128M，有2个副本
-
列出各个HDFS文件组成块信息
[hadoop@pg1 soft]$ hdfs fsck / -files -blocks Connecting to namenode via http://pg2:50070/fsck?ugi=hadoop&files=1&blocks=1&path=%2F FSCK started by hadoop (auth:SIMPLE) from /192.168.10.190 for path / at Fri Sep 25 09:34:42 CST 2020 / <dir> /hadoop <dir> /hadoop/hadoop-2.10.0.tar.gz 392115733 bytes, 3 block(s): OK 0. BP-2081959867-192.168.10.190-1599396161857:blk_1073741828_1004 len=134217728 Live_repl=2 1. BP-2081959867-192.168.10.190-1599396161857:blk_1073741829_1005 len=134217728 Live_repl=2 2. BP-2081959867-192.168.10.190-1599396161857:blk_1073741830_1006 len=123680277 Live_repl=2 ......
Namenode 和 Datanode
HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。
-
Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。
-
它管理文件系统树及整棵树内所有文件和目录。这些信息通过命名空间镜像文件和编辑日志文件这2种文件形式保存到本地磁盘上
## 命名空间镜像文件 fsimage_0000000000000003271 fsimage_0000000000000003271.md5 ## 编辑日志文件 edits_0000000000000002476-0000000000000002477
-
namenode记录着每个文件中各个块所在的数据节点信息，但不永久保存块的位置信息
-
若namenode机器毁坏，文件将会丢失。提供下面2种机制，实现容错
- 配置namenode在多个文件系统上保存元数据的持久状态（写入本地磁盘的同时写入一个NFS文件系统）
- 运行一个辅助namenode
-
-
集群中的Datanode一般是一个节点一个设备，负责管理它所在节点上的数据存储。
- 它们根据需要存储和检索数据块，并定期向namenode发送它们所存储的块的列表
-
辅助namenode(secondary namenode)：负责定期合并编辑日志和命名空间镜像
- 它需要大量CPU资源和跟活动namenode一样多的内存合并编辑日志
HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。
Namenode和Datanode被设计成可以在普通的商用机器上运行。这些机器一般运行着GNU/Linux操作系统(OS)。HDFS采用Java语言开发，因此任何支持Java的机器都可以部署Namenode或Datanode。由于采用了可移植性极强的Java语言，使得HDFS可以部署到多种类型的机器上。一个典型的部署场景是一台机器上只运行一个Namenode实例，而集群中的其它机器分别运行一个Datanode实例。这种架构并不排斥在一台机器上运行多个Datanode，只不过这样的情况比较少见。
集群中单一Namenode的结构大大简化了系统的架构。Namenode是所有HDFS元数据的仲裁者和管理者，这样，用户数据永远不会流过Namenode。
文件系统的名字空间 (namespace)
HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。当前，HDFS不支持用户磁盘配额和访问权限控制，也不支持硬链接和软链接。但是HDFS架构并不妨碍实现这些特性。
Namenode负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被Namenode记录下来。应用程序可以设置HDFS保存的文件的副本数目。文件副本的数目称为文件的副本系数，这个信息也是由Namenode保存的。
联邦HDFS
namenode在内存中保存每个文件和每个数据块的引用关系。对于拥有大量文件的集群来说，内存将成为横向扩展的瓶颈。在2.X中引入联邦HDFS允许系统通过添加namenode实现扩展，其中每个namenode管理文件系统命名空间的一部分。
在联邦环境下，每个namenode维护一个命名空间卷（namespace volume），由命名空间的元数据和一个数据块池(block pool)组成。数据块池包含该命名空间下文件的所有数据块。命名空间卷相互独立，两两之间并不相互通信。
HDFS的高可用性
Hadoop2针对namenode存在的单点失效(SPOF, single point of failure)问题，提供对HDFS的高可用性（HA）支持。通过配置一对活动-备用(active-standby) namenode。当活动namenode失效时，备用namenode自动接管它的任务并开始服务于来自客户端的请求。
HA架构改变
- namenode之间需要通过高可用共享存储实现编辑日志的共享。当备用namenode接管工作之后，它将通读共享编辑日志以实现与活动namenode的状态同步
- datanode需要同时向两个namenode发生数据块处理报告
- 辅助namenode的角色被备用namenode所包含，备用namenode为活动的namenode命名空间设置周期性检查点。
高可用共享存储实现方案
- NFS过滤器
- 群体日志管理器(QJM, quorum journal manager)
- QJM 是一个专用的HDFS实现，提供一个高可用的编辑日志而设计
- QJM 以一组日志节点(journal node)的形式运行，每次编辑必须写入多数日志节点
故障切换（failover）与规避(fencing)
Hadoop HA默认使用zookeeper作为故障转移控制器，它（zookeeper）负责监视（心跳机制）namenode是否失效并在namenode失效时进行故障转移。zookeeper确保集群中有且仅有一个活动namenode。
fencing方法用于确保先前活动的namenode不会执行危害系统并导致系统崩溃的操作。
同一时间QJM仅允许一个namenode向编辑日志写入数据。
当使用NFS过滤器实现共享编辑日志时，由于不能同一时间只允许一个namenode写入数据，更加需要有力的规避方法
- 撤销namenode访问共享存储目录的权限
- 通过远程管理命令屏蔽相应的网络端口
- 强制先前活动的namenode断电操作
