2016年4月18日
hadoop小文件合并
摘要： 1、背景 在实际项目中，输入数据往往是由许多小文件组成，这里的小文件是指小于HDFS系统Block大小的文件（默认128M）， 然而每一个存储在HDFS中的文件、目录和块都映射为一个对象，存储在NameNode服务器内存中，通常占用150个字节。 如果有1千万个文件，就需要消耗大约3G的内存空间。如 阅读全文
posted @ 2016-04-18 22:30 刘超★ljc 阅读(4900) 评论(0) 推荐(3) 编辑