摘要:
一、背景 分布式的集群通常包含非常多的机器,由于受到机器槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架之间的网络速度,并且机架之间机器的网络通信常受到上层交换机间网络带宽的限制。 具体到Hadoop集群,由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储,每个block会有多个副本(默认为3),并且为了数据的安全和高效,所以hadoop默认对3个副本的存放策略为: 第一个block副本放在和client所在的node里(如果client不在集群范围内,则这第一个node是 阅读全文