2018年8月21日
小文件合并
摘要： 一、项目背景 在实际项目中，输入数据往往是由许多小文件组成，这里的小文件是指小于HDFS系统Block大小的文件（默认128M）， 然而每一个存储在HDFS中的文件、目录和块都映射为一个对象，存储在NameNode服务器内存中，通常占用150个字节。 如果有1千万个文件，就需要消耗大约3G的内存空间 阅读全文
posted @ 2018-08-21 20:46 xkkkkkkkkk_is_me 阅读(212) 评论(0) 推荐(0) 编辑