每日总结

数据完整性

思考:如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号1)和绿灯信号0但是存储该数据的磁盘坏了,一直显示绿灯,是否很危险?同理DataNode节点上的数据损坏了,没有发现,是否也很危险,那么如何解决呢

如下DataNode节点保证数据完整性的方法。

1)当DataNode读取Block的时候,它会计算CheckSum

2)如果计算后的CheckSum,与Block创建时值不一样,说明Block已经损坏。

3Client读取其他DataNode上的Block

4)常见的校验算法crc32),md5128),sha1160)

(5)DataNode在其文件创建后周期验证CheckSum

 

6.3 掉线时限参数设置

 

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒dfs.heartbeat.interval的单位为秒。

<property>

    <name>dfs.namenode.heartbeat.recheck-interval</name>

    <value>300000</value>

</property>

 

<property>

    <name>dfs.heartbeat.interval</name>

    <value>3</value>

</property>

posted @ 2021-12-01 16:25  小萌新一枚lll  阅读(44)  评论(0编辑  收藏  举报