摘要： 机架感知(RackAwareness) 通常，大型 Hadoop 集群会分布在很多机架上，在这种情况下， 希望不同节点之间的通信能够尽量发生在同一个机架之内，而不是跨机架。 为了提高容错能力，名称节点会尽可能把数据块的副本放到多个机架上。 综合考虑这两点的基础上 Hadoop 设计了机架感知功能 外 阅读全文

摘要： HDFS 高可用（HA）故障转移工作机制 自动故障转移为 HDFS 部署增加了两个新组件：ZooKeeper（ZK） 和 **ZKFailoverController（ZKFC）**进程 ZooKeeper（ZK）进程 ZooKeeper 是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障 阅读全文

摘要： HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode) NameNode 负责管理整个文件系统的元数据 DataNode 负责管理用户的文件块（Block） 文件会按照固定的大小（默认 128 M）切成若干文件块（Block）后分布式存储在若干台 Da 阅读全文