Hadoop中的CRC数据校验文件
摘要：
Hadoop系统为了保证数据的一致性，会对文件生成相应的校验文件，并在读写的时候进行校验，确保数据的准确性。比如我们遇到的这个Case：执行的命令：hadoop jar dw-hadoop-2010_7_23.jar jobDriver -files tb_steps_url_path_dim.txt multisteps_output 2011-01-25出错日志的提示：org.apache.hadoop.fs.ChecksumException: Checksum error: file:tb_steps_url_path_dim.txt at 0at org.apache.hadoop. 阅读全文
posted @ 2011-01-26 13:11 逖靖寒 阅读(13840) 评论(1) 推荐(2) 编辑