2019年2月15日
hadoop 将HDFS上多个小文件合并到SequenceFile里
摘要： 背景：hdfs上的文件最好和hdfs的块大小的N倍。如果文件太小，浪费namnode的元数据存储空间以及内存，如果文件分块不合理也会影响mapreduce中map的效率。 本例中将小文件的文件名作为key，其内容作为value生成SequenceFile 1、生成文件 查找文件： 2、还原压缩的Se 阅读全文
posted @ 2019-02-15 14:45 我是属车的 阅读(2978) 评论(0) 推荐(0) 编辑