2015年8月25日
解读：Hadoop Archive
摘要： hdfs并不擅长存储小文件，因为每个文件最少一个block，每个block的元数据都会在NameNode中占用150byte内存。如果存储大量的小文件，它们会吃掉NameNode节点的大量内存。MR案例：小文件处理方案Hadoop Archive或者HAR，是一个高效地将小文件放入HDFS块中的文件... 阅读全文
posted @ 2015-08-25 19:04 skyl夜 阅读(2363) 评论(0) 推荐(1) 编辑