向HDFS中追加内容

向生成好的hdfs文件中追加内容，但是线上使用的版本是1.0.3，查看官方文档发现，在1.0.4版本以后才支持文件append
以下是向hdfs中追加信息的操作方法
如果你只在某一个driver中追加内容信息，不必要对于整个HDFS都开启内容追加：
在某个方法中，追加文件信息：

private void combinerMid(Path input,Path output,Configuration conf){
            FileSystem hdfs = null;
            conf.setBoolean("dfs.support.append", true);
            try{
                hdfs = FileSystem.get(conf);
                FSDataInputStream in = hdfs.open(input);
                FSDataOutputStream out = hdfs.append(output);
                IOUtils.copyBytes(in,out,4096,true);
            }catch (IOException e){
                e.printStackTrace();
            }
        }private void combinerMid(Path input,Path output,Configuration conf){
            FileSystem hdfs = null;
            conf.setBoolean("dfs.support.append", true);
            try{
                hdfs = FileSystem.get(conf);
                FSDataInputStream in = hdfs.open(input);
                FSDataOutputStream out = hdfs.append(output);
                IOUtils.copyBytes(in,out,4096,true);
            }catch (IOException e){
                e.printStackTrace();
            }
        }

 

 

使用以上方法，便可以向output文件中追加input中的文件内容


如果需要开启对于整个HDFS的文件追加内容权限需要在
hdfs-site.xml中增加以下配置

<property>
    <name>dfs.support.append</name>
    <value>true</value>
</property>