导航

Hdfs增量导入小文件合并的思路

Posted on 2015-12-19 18:01  ggzone  阅读(339)  评论(0编辑  收藏  举报

1.使用mr进行合并
2.使用getmerge 将文件拉取到本地,再上传到hdfs,注意nl参数
3.使用appendToFile
4.使用hadoop提供的打包压缩技术
Usage: hadoop fs [generic options]

[-appendToFile … ]

[-getmerge [-nl] ]

hdfs dfs -getmerge -nl /user/hive/warehouse/achi/20* /data/t1.txt