使用Java API之下载HDFS文件至本地（解决）

问题描述：

（1）运行copyToLocalFile文件下载，win10电脑出现空指针报错，文件可以下载下来，但是内容是空的

解决措施：

方法一：（不建议使用）

（1）这是一种暂时性回避错误方法，有些文件（特指使用java新建的文本）下载后打开是乱码。

将：fileSystem.copyToLocalFile(src,dst);

改为：fileSystem.copyToLocalFile(false,src,dst,true);

方法二：

（2）配置环境变量

文件打开后依旧乱码（特指使用java新建的文本），而通过命令行上传的文件不是乱码（未解决）

下载对应版本的winutils.exe、hadoop.dll

我的hadoop版本是：hadoop-2.6.0-cdh5.15.1

我的winutils.exe、hadoop.dll下载的版本是：2.7.6

将下载好的bin文件夹（包含winutils.exe、hadoop.dll）放入G:\BaiduNetdiskDownload\hadoop2.7.6

设置环境变量：

　　用户变量：

　　　　变量名：HADOOP_HOME

　　　　变量值：G:\BaiduNetdiskDownload\hadoop2.7.6

　　系统变量：

　　　　变量名：Path

　　　　变量值：%HADOOP_HOME%\bin;

将hadoop.dll放进C:\Windows\System32中

重新启动电脑。 

 

package com.imooc.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progress;
import org.apache.hadoop.util.Progressable;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URI;

/**
 * 使用Java API操作HDFS文件系统
 *
 * 因为是放在test下面，所以最好使用单元测试的方式
 * 在pom中引入的jUnit单元测试的方式
 * 单元测试有两个方法：（1）在单元测试之前进行；（2）在单元测试之后进行
 *
 * 关键点：
 * 1）创建Configuration
 * 2)获取FileSystem
 * 3)剩下的是HDFS API的操作
 */

public class HDFSApp {


    public static final String HDFS_PATH = "hdfs://hadoop000:8020";
    //Configuration、FileSystem是每一个方法使用之前必须构建的
    Configuration configuration = null;
    FileSystem fileSystem = null;

    @Before
    public void setup() throws Exception{
        System.out.println("-----setup-----");
        configuration = new Configuration();
        configuration.set("dfs.replication", "1");
        /*
         *构造一个访问指定HDFS系统的客户端对象
         * 第一个参数：HDFS的URI
         * 第二个参数：客户端指定的配置参数
         * 第三个参数：客户的用户名
         */
        fileSystem = FileSystem.get(new URI("hdfs://hadoop000:8020"), configuration, "hadoop");
    }

    /*
     * 拷贝HDFS文件系统 至 本地主机文件
     */
    @Test
    public void copyToLocalFile() throws Exception{
        Path src = new Path("/hdfsApi/test/hello.txt");
        Path dst = new Path("G:/BaiduNetdiskDownload");
        fileSystem.copyToLocalFile(false, src, dst, true);
    }


    @After
    public void tearDown(){
        System.out.println("-----tearDown-----");

        //置空
        configuration = null;
        fileSystem = null;
    }
}