hadoop学习笔记（七）：Java HDFS API

一、使用HDFS FileSystem详解

HDFS依赖的第三方包：

　　hadoop 1.x版本：

　　commons-configuration-1.6.jar

　　commons-lang-2.4.jar

　　commons-loggin-1.1.1.jar

　　hadoop-core-1.2.1.jar

　　log4j-1.2.15.jar

　　hadoop2.x版本：

　　hadoop-mapreduce-client-core-2.2.0.jar

　　hadoop-common-2.2.0.jar　

　　hadoop-mapreduce-client-common-2.2.0.jar

　　hadoop-mapreduce-client-jobclient-2.2.0.jar

注意：可根据自身的情况和版本信息手动添加或maven仓库依赖。

文件操作

　　1 工具类的创建：

　　创建一个工具类HDFSUtils，主要用来加载公共信息：　　

package com.laowang.utils;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import java.io.IOException;
import java.net.URI;

/**
 * @author laowang
 * @version v1.0.0
 * @apiNote HDFS 工具类
 * @since 2018/4/26 10:36
 */
public class HDFSUtil {
    /**
     * @author laowang
     * @version v1.0.0
     * @apiNote 获取FileSystem
     * @since 2018/4/26 10:39
     */
    public static FileSystem getFileSystem() {
        FileSystem hdfs = null;
        //获取配置文件信息
        Configuration conf = new Configuration();
        conf.set("fs.hdfs.impl",DistributedFileSystem.class.getName());
        try {
            //获取文件系统
            hdfs = FileSystem.get(URI.create("hdfs://master01:9000"), conf);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return hdfs;
    }

    /**
     * 关闭文件流
     * @param fileSystem
     */
    public static boolean closeFileSystem(FileSystem fileSystem) {
        boolean flag = false;
        if (fileSystem != null) {
            try {
                fileSystem.close();
                flag = true;
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        return flag;
    }
}

　　2 上传文件到HDFS

 /**
     * @author laowang
     * @version v1.0.0
     * @apiNote 上传文件
     * @since 2018/4/26 14:14
     */
    public static void putFile() throws Exception {
        Path sourcePath = new Path("E:\\port.txt");
        //文件名称
        Path targetPath = new Path("/test/");
        //从本地复制文件到文件系统中去
        hdfs.copyFromLocalFile(sourcePath,targetPath);
    }

　　3 读取文件

    /**
     * @author laowang
     * @version v1.0.0
     * @apiNote 读取文件
     * @since  2018/4/26 10:39
     */
    public static void testRead() throws Exception{
        FileSystem hdfs = HDFSUtil.getFileSystem();
        //文件名称
        Path path = new Path("/test/initNetwork.sh");
        //打开文件输入流
        FSDataInputStream inputStream = hdfs.open(path);
        //读取文件到控制台
        IOUtils.copyBytes(inputStream,System.out,4096,false);
        //关闭流
        IOUtils.closeStream(inputStream);
    }

/**
     * @author laowang
     * @version v1.0.0
     * @apiNote 查看目录
     * @since  2018/4/26 14:29 
     */
    public static void testList() throws Exception{
        FileSystem fileSystem=HDFSUtil.getFileSystem();
        Path path = new Path("/test/");
        FileStatus[] fileStatuses = hdfs.listStatus(path);
        for(FileStatus fileStatus : fileStatuses){
            Path p = fileStatus.getPath();
            String info = fileStatus.isDirectory() ? "目录" : "文件";
            System.out.println(info + ": " + p);
        }
    }

　　4 在hadoop fs中新建文件，并写入

/**
     * 创建文件
     * @throws Exception
     */
    public static void testDirectory() throws Exception {
        FileSystem fileSystem = HDFSUtil.getFileSystem();
        Path path = new Path("/test/laowang");
        boolean mkdirs = hdfs.mkdirs(path);
        System.out.println("创建：" + (mkdirs ? "成功" : "失败"));
    }

 /**
     * 创建文件并写入内容
     * @throws Exception
     */
    public static void testCreate() throws Exception{
        Path path = new Path("/test/test.txt");
        //创建文件
        FSDataOutputStream outputStream = hdfs.create(path);
        //写入内容
        outputStream.writeUTF("hello hadoop!");
        IOUtils.closeStream(outputStream);
    }

　　5 重命名文件

    /**
     * 重命名
     */
    public static void testRename() throws Exception{
        //原路径
        Path srcPath = new Path("/test/test.txt");
        //目标路径
        Path targetPath = new Path("/test/test2.txt");
        boolean rename = hdfs.rename(srcPath, targetPath);
        System.out.println("重命名：" + (rename ? "成功" : "失败"));
    }

　　6 删除hadoop fs上的文件

  /**
     * 删除
     */
    public static void testDelete() throws Exception {
        Path path = new Path("/test/test2.txt");
        boolean b = hdfs.deleteOnExit(path);
        System.out.println("删除：" + (b ? "成功" : "失败"));
    }

HDFS信息

　　1 查找某个文件在HDFS集群中的位置

    /**
     * @author laowang
     * @version v1.0.0
     * @apiNote 查找某个文件在HDFS中的位置
     * @since  2018/4/26 15:31
     */
    public static void testLocation() throws Exception{
        Path path = new Path("/test/port.txt");
        FileStatus fileStatus = hdfs.getFileStatus(path);
        BlockLocation[] fileBlockLocations = hdfs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
        for(BlockLocation blockLocation : fileBlockLocations){
            String[] hosts=blockLocation.getHosts();
            for (String host : hosts) {
                System.out.println("端口：" + host);
            }
        }
    }

　　2 获取HDFS集群上所有节点名称信息

    /**
     * @author laowang
     * @version v1.0.0
     * @apiNote 获取HDFS集群上所有节点名称信息
     * @since 2018/4/26 15:38
     */
    public static void testCluster() throws Exception {
        DistributedFileSystem distributedFileSystem = (DistributedFileSystem) hdfs;
        DatanodeInfo[] dataNodeStats = distributedFileSystem.getDataNodeStats();
        for (DatanodeInfo datanodeInfo : dataNodeStats) {
            System.out.println(datanodeInfo.getHostName());
        }
    }