2020年5月27日
大量小文件不适合存储于HDFS的原因
摘要： 1、小文件过多，会过多占用namenode的内存，并浪费block。 - 文件的元数据（包括文件被分成了哪些blocks，每个block存储在哪些服务器的哪个block块上），都是存储在namenode上的。 HDFS的每个文件、目录、数据块占用150B，因此300M内存情况下，只能存储不超过300 阅读全文
posted @ 2020-05-27 18:18 Xiaohu_BigData 阅读(1475) 评论(0) 推荐(0) 编辑