2015年3月25日

Hadoop程序运行中的Error(1)-Error: org.apache.hadoop.hdfs.BlockMissingException

摘要： 15/03/18 09:59:21 INFO mapreduce.Job: Task Id : attempt_1426641074924_0002_m_000000_2, Status : FAILEDError: org.apache.hadoop.hdfs.BlockMissingExcept... 阅读全文

posted @ 2015-03-25 10:15 水瓶媛阅读(10674) 评论(0) 推荐(0) 编辑

Hadoop中如何查看文件的block size

摘要：因为对控制文件的分片数目，进而控制文件的map个数非常感兴趣，因此有查找如下资料的需求。下面来看看我总结的吧：）当向HDFS上写文件时，可以通过设置dfs.blocksize配置项来设置文件的block size，这导致HDFS上不同文件的block size是不同的。有时候我们需要知道HDFS上某... 阅读全文

posted @ 2015-03-25 10:10 水瓶媛阅读(2213) 评论(0) 推荐(0) 编辑

2015年3月25日

公告