2018年7月4日
Hadoop之小文件处理与调优经验
摘要： HDFS小文件弊端： HDFS上每个文件都要在namenode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用namenode的内存空间，另一方面就是索引文件过大是的索引速度变慢。 解决的方式： 1：Hadoop本身提供了一些文件压 阅读全文
posted @ 2018-07-04 23:09 石下萌芽 阅读(2737) 评论(0) 推荐(0) 编辑