HDFS-文件写入API

package com.zhen.hdfs;
 
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
 
/**
 * @author FengZhen
 * @date 2018年8月12日
 * 
 */
public class FileSystemWriteAPI {
 
    public static void main(String[] args) {
        //create();
        mkdir();
    }
     
    /**
     *  FileSystem类有一系列新建文件的方法。
     *  1.最简单的方法是给准备建的文件指定一个Path对象，然后返回一个用于写入数据的输出流
     *   public FSDataOutputStream create(Path f) throws IOException {
            return create(f, true);
          }
        此方法有多个重载版本，允许我们指定是否需要强制覆盖现有的文件、文件备份数量、写入文件时所用的缓冲区大小、文件块大小以及文件权限。
        create方法能够为需要写入且当前不存在的文件创建父目录。尽管这样很方便，但有时不希望这样。如果希望父目录不存在就导致文件写入失败，则应该先调用exists方法检查父目录是否存在
        还有一个重载方法Progressable用于传递回调接口，如此一来，可以把数据写入datanode的进度通知给应用。
        public interface Progressable {
          public void progress();
        }
        2.另一种新建文件的方法是使用append方法在一个已有文件末尾追加数据
          public FSDataOutputStream append(Path f) throws IOException {
            return append(f, getConf().getInt("io.file.buffer.size", 4096), null);
          }
        这样的追加操作允许一个writer打开文件后在访问该文件的最后偏移量处追加数据。有了这个API，某些应用可以创建无边界文件，例如，应用可以在关闭日志文件之后继续追加日志。
        该追加操作是可选的，并非所有Hadoop文件系统都实现了该操作。例如，HDFS支持追加，但S3文件系统不支持
         
     */
     
    /**
     * FSDataOutPutStream对象
     * FileSystem实例的create方法返回FSDataOutPutStream对象，与FSDataInPutStream类相似，它也有一个查询文件当前位置的方法
     *  public long getPos() throws IOException {
          return position;                            // return cached position
        }
       但与FSDataInPutStream不同的是，FSDataOutPutStream类不允许在文件中定位。
       这是因为HDFS只允许对一个已打开的文件顺序写入，或在现有文件的末尾追加数据。换句话说，它不支持在除文件末尾之外的其它位置进行写入。
     */
    public static void create() {
        String localSrc = "/Users/FengZhen/Desktop/hadoop-file/core-site.xml";
        String dst = "hdfs://fz/user/hdfs/MapReduce/data/test_create.xml";
         
        Configuration conf = new Configuration();
        try {
            InputStream inputStream = new BufferedInputStream(new FileInputStream(localSrc));
            FileSystem fileSystem = FileSystem.get(URI.create(dst), conf);
            OutputStream outputStream = fileSystem.create(new Path(dst), new Progressable() {
                public void progress() {
                    System.out.print(".");
                }
            });
            IOUtils.copyBytes(inputStream, outputStream, 4096, true);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
     
    /**
     * 目录
     * FileSystem实例提供了创建目录的方法
     *   public boolean mkdirs(Path f) throws IOException {
           return mkdirs(f, FsPermission.getDirDefault());
         }
       通常，不需要显式创建一个目录，因为调用create方法写入文件时会自动创建父目录
     */
    public static void mkdir() {
        String uri = "hdfs://fz/user/hdfs/MapReduce/data/2017/08/11";
        Configuration conf = new Configuration();
        try {
            FileSystem fileSystem = FileSystem.get(new URI(uri), conf);
            fileSystem.mkdirs(new Path(uri));
        } catch (IOException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }
    }
}