hadoop入门(11)：hdfs的java编程-小文件合并

上一篇章涉及到了I/O方式上传下载文件
这一篇我们来实现一下小文件合并

代码

    /**
     * 小文件合并：读取本地小文件合并到hdfs的大文件中
     */
    @Test
    public void mergeFile() throws URISyntaxException, IOException, InterruptedException {
        // 获取分布式文件系统
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node001:8020"), new Configuration(), "sjj");
        FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path("/xxx/.../bigFile.xml"));
        // 获取本地文件系统
        LocalFileSystem localFileSystem = FileSystem.getLocal(new Configuration());
        // 读取本地文件
        FileStatus[] fileStatuses = localFileSystem.listStatus(new Path("/xxx/.../smallFiles"));

        for(FileStatus fileStatus:fileStatuses){
            // 获取每一个本地文件路径
            Path path = fileStatus.getPath();
            // 读取本地小文件
            FSDataInputStream fsDataInputStream = localFileSystem.open(path);

            // 流对拷 org.apache.commons.io.IOUtils
            IOUtils.copy(fsDataInputStream,fsDataOutputStream);
            // 释放资源
            IOUtils.closeQuietly(fsDataInputStream);
        }
        // 释放资源
        IOUtils.closeQuietly(fsDataOutputStream);
        localFileSystem.close();
        fileSystem.close();
    }