HDFS小文件问题及解决方案
摘要：
1、概述 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给Hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namen 阅读全文
posted @ 2019-05-29 11:32 dongtime 阅读(6392) 评论(0) 推荐(0) 编辑
