节点距离与机架感知

1. 服务器节点距离计算
  A. 网络拓扑-节点距离计算
    在HDFS写数据的过程中,NameNode会选择距离带上传数据最近距离的DataNode接收数据。
    节点距离:两个节点到达最近的共同祖先的距离总和
  
2. 机架感知
  A. 副本节点选择
    a. 第一个副本在Client所处的节点上。如果客户端在集群外,随机选一个
    b. 第二个副本在另一个机架的随机一个节点
    c. 第三个副本在第二个副本所在机架的随机节点
    
  B. 副本节点选择策略原因
    a. 第一个节点优先选择本地,考虑的是节点距离最近,上传速度最快
    b. 第二个节点选择与第一个节点不同机架考虑的是数据安全问题
    c. 第三个节点与第二个节点相同机架考虑的是效率问题,同一个机架传输效率高

posted @ 2021-06-03 14:41  shangzq  阅读(168)  评论(0编辑  收藏  举报