Hadoop点滴-Hadoop的IO
摘要：
Hadoop自带一套原子操作用于数据的I/O操作。 如果系统中需要处理的数据量达到Hadoop的处理极限时，数据被损害的概率还是很高的 检测数据是否被损害的常见措施是，在数据第一次被引进系统时，计算校验和（checksum），并在数据通过一个不可靠的通道进行传输时，再次计算校验和。 校验和也是可能损 阅读全文
posted @ 2018-04-14 10:36 手握太阳 阅读(243) 评论(0) 推荐(0) 编辑