摘要: 数据的完整性检测数据是否损坏的常见措施是:在数据第一次引入系统的时候计算校验和(checksum),并在数据通过一个不可靠的通道进行传输时候再次计算校验和,这样就能发现数据是否损坏。如果新的校验和和原来的校验和不匹配,我们就认为数据已经损坏。常用的数据检测码是:CRC-32(循环冗余校验)HDFS的数据完整性datanode负责验证收到的数据后存储数据及其校验和,它在收到客户端的数据或复制期间其他datanode的数据时候执行这个操作。正在写数据的客户端将数据极其校验和发送到由一些列datanode组成的管线,管线中的最后一个datanode负责验证校验和。如果datanode检测到错误,客户 阅读全文
posted @ 2012-07-28 00:05 honkcal 阅读(701) 评论(0) 推荐(0) 编辑