HDFS合并多个文件的命令

HDFS 合并多个文件的命令有如下几种，可根据场景使用：

1、直接将本地的文件合并追加到HDFS的文件

hdfs dfs -appendToFile sourceLocalFiles(*) /targetPath/targetFile

2、合并文件到本地，然后再传HDFS

hdfs dfs -getmerge sourceHDFSFile(*)  LocalFile
hdfs dfs -put LocalFile targetHDFSFile

3、直接在HDFS上合并，通过管道进行

hdfs dfs -cat sourceFiles(*) | hdfs dfs -copyFromLocal - targetFile

*表示通配符

posted @ 2022-04-25 17:01  大数据的奇妙冒险  阅读(1010)  评论(0)  编辑  收藏  举报