hadoop源码剖析--hdfs安全模式
一、什么是安全模式
hadoop安全模式是name node的一种状态,处于该状态时有种量特性:
1.namenode不接受任何对hfds文件系统的改变操作(即此时整个文件系统处于只读状态);
2.不执行block的replica和delete动作。
二、安全模式的原理
安全模式实在name node启动时默认进入的,当然也可以手动开启或关闭安全模式。
在name node启动后自动进入安全模式,这时data nodes向name node汇报各自节点的block信息。要想自动离开安全模式需要满足三个条件:
(1)threshold of blocks blocks检查率阈值
(2)minimal replication condition 每一个块必须满足最少replicas
(3)extends time 延迟时间
具体逻辑为:name node收集到满足threshold of blocks值的block汇报信息,而这些block的备份数都必须满足minimal replication condition值,当这两个条件都满足后,name node会在extends time时间之后退出安全模式(在extends time这段时间里,name node让没汇报完的数据节点继续检查block信息)对丢失block进行replica和接收客户端请求操作。
以上三个对应的配置参数为:
dfs.safemode.threshold.pct
dfs.safemode.extension
dfs.replication.min
三、特殊设置
当dfs.safemode.threshold.pct=0时,name node启动不会进去安全模式
当dfs.safemode.threshold.pct=1时,所有的块必须有至少dfs.replication.min个replication才能自动退出安全模式
当dfs.safemode.threshold.pct>1时,name node永远不会自动退出安全模式
四、手动设置开启、退出安全模式
见org.apache.hadoop.hdfs.protocol.ClientProtocol接口的setSafeMode方法。