摘要：
http://dongxicheng.org/mapreduce/hdfs-small-files-solution/ 1、 概述 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个b... 阅读全文
posted @ 2011-11-27 21:30 wangwangkunkun 阅读(1166) 评论(0) 推荐(0) 编辑