摘要: HDFS默认数据放置策略系统默认为每一个数据块存放3个副本,按照布署在NameNode上的默认机架感知策略存放数据块副本。其中:第一个block副本放在client结点所在机架的datanode里(如果client不在集群范围内,则这第一个node是随机选取的,当然系统会尝试不选择哪些太满或者太忙的node)。第二个block副本放置在与第一个datanode节点相同的机架中的另一个datanode中(随机选择)。第三个block副本放置于另一个随机远端机架的一个随机datanode中。如果还有更多的副本就随机放在集群的node里。将第一、二个block副本放置在同一个机架中,当用户发起数据读 阅读全文
posted @ 2013-05-14 11:11 spark woo 阅读(2313) 评论(0) 推荐(0) 编辑