HDFS 联邦(Federation)

HDFS HA 的不足

虽然 HDFS HA 解决了“ NameNode 单点故障 ”问题,但是在系统扩展性、整体性能和隔离性方面仍然存在问题。

  • 系统扩展性方面

    元数据存储在 NameNode 内存中,受内存上限的制约

  • 整体性能方面

    吞吐量受单个 NameNode 的影响

  • 隔离性方面

    一个程序可能会影响其他运行的程序,如一个程序消耗过多资源导致其他程序无法顺利运行

HDFS HA 本质上还是单名称节点

HDFS 联邦模式

  • 在 HDFS 联邦中,设计了多个相互独立的 NameNode,把元数据的存储和管理分散到多个节点中,使得 HDFS 的命名服务能够通过增加服务器来水平扩展。这样把单个 NameNode 的负载分散到多个节点中,在 HDFS 数据规模较大的时候不会也降低 HDFS 的性能。

  • 多个 NameNode 分别进行各自命名空间和元数据的管理,不需要彼此协调,无法相互访问。每个 DataNode 要向集群中所有的 NameNode 注册,并周期性的发送心跳信息和文件数据块信息,报告自己的状态。

  • HDFS 联邦拥有多个独立的命名空间,其中,每一个命名空间管理属于自己的一组块,这些属于同一个命名空间的块组成一个“块池”。每个 DataNode 会为多个块池提供块的存储,块池中的各个块实际上是存储在不同 DataNode 中的。

posted @ 2021-11-29 22:36  追こするれい的人  阅读(268)  评论(0编辑  收藏  举报