HDFS 联邦（Federation）

HDFS HA 的不足

虽然 HDFS HA 解决了“ NameNode 单点故障 ”问题，但是在系统扩展性、整体性能和隔离性方面仍然存在问题。

• 系统扩展性方面

  元数据存储在 NameNode 内存中，受内存上限的制约

• 整体性能方面

  吞吐量受单个 NameNode 的影响

• 隔离性方面

  一个程序可能会影响其他运行的程序，如一个程序消耗过多资源导致其他程序无法顺利运行

HDFS HA 本质上还是单名称节点

HDFS 联邦模式

• 在 HDFS 联邦中，设计了多个相互独立的 NameNode，把元数据的存储和管理分散到多个节点中，使得 HDFS 的命名服务能够通过增加服务器来水平扩展。这样把单个 NameNode 的负载分散到多个节点中，在 HDFS 数据规模较大的时候不会也降低 HDFS 的性能。

• 多个 NameNode 分别进行各自命名空间和元数据的管理，不需要彼此协调，无法相互访问。每个 DataNode 要向集群中所有的 NameNode 注册，并周期性的发送心跳信息和文件数据块信息，报告自己的状态。

• HDFS 联邦拥有多个独立的命名空间，其中，每一个命名空间管理属于自己的一组块，这些属于同一个命名空间的块组成一个“块池”。每个 DataNode 会为多个块池提供块的存储，块池中的各个块实际上是存储在不同 DataNode 中的。