2017年7月13日
Hadoop合并小文件的几种方法
摘要： 1、Hadoop HAR 将众多小文件打包成一个大文件进行存储，并且打包后原来的文件仍然可以通过Map-Reduce进行操作，打包后的文件由索引和存储两大部分组成； 缺点: 一旦创建就不能修改，也不支持追加操作，还不支持文档压缩，当有新文件进来以后，需要重新打包。 2、SequeuesFile 适用 阅读全文
posted @ 2017-07-13 08:20 mzzcy 阅读(2999) 评论(0) 推荐(0) 编辑