怎么识别datanode stale了？

 

DataNode职责：

• 存储管理用户的文件块数据
• 定期向namenode汇报自身所持有的block信息（通过心跳信息上报）

　　（这点很重要，因为，当集群中发生某些block副本失效时，集群如何恢复block初始副本数量的问题）

 

当一个datanode满足如下条件时被认为是stale了：

当一台datanode的last contact（即上一次收到datanode心跳到当前时刻的时间间隔）相对于其他datanode更长的时候，该datanode就会被认为是stale的。当一台datanode变为stale状态后，其读写优先级将被置为最低。

如果使用默认值的话，当一台datanode的心跳消失30秒钟，namenode会认为这台datanode stale了。如果又过了10分钟（总共10.5分钟）还没有心跳，namenode会认定datanode死亡了。

相关属性包括：

• dfs.heartbeat.interval - default: 3 seconds
• dfs.namenode.stale.datanode.interval - default: 30 seconds
• dfs.namenode.heartbeat.recheck-interval - default: 5 minutes
• dfs.namenode.avoid.read.stale.datanode - default: true
• dfs.namenode.avoid.write.stale.datanode - default: true

 

DataNode掉线判定时限：
datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。

如果定义超时时间为timeout，则超时时长的计算公式为：

timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval

而默认的heartbeat.recheck.interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

所以，举个例子，如果heartbeat.recheck.interval设置为5000（毫秒），dfs.heartbeat.interval设置为3（秒，默认），则总的超时时间为40秒。