使用Java API之副本系数深度剖析

问题描述：

（1）使用Java API创建HDFS文件并写入内容的副本系数为3

（2）使用命令上传至HDFS中的文件副本数为1：举例[hadoop@hadoop000 software]$ hadoop fs -put jdk-8u91-linux-x64.tar.gz /

问题回答：

（1）使用Java方式传上去的就不是，因为我们新new了一个configuration，初始为空，程序会重新寻找Java程序中的hdfs-site.xml，这里副本数为3。（图1、图2显示）

（2）在/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop中的hdfs-site.xml，设置的副本系数为1。

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

package com.imooc.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.net.URI;

/**
 * 使用Java API操作HDFS文件系统
 *
 * 因为是放在test下面，所以最好使用单元测试的方式
 * 在pom中引入的jUnit单元测试的方式
 * 单元测试有两个方法：（1）在单元测试之前进行；（2）在单元测试之后进行
 *
 * 关键点：
 * 1）创建Configuration
 * 2)获取FileSystem
 * 3)剩下的是HDFS API的操作
 */

public class HDFSApp {

    public static final String HDFS_PATH = "hdfs://hadoop000:8020";
    //Configuration、FileSystem是每一个方法使用之前必须构建的
    Configuration configuration = null;
    FileSystem fileSystem = null;

    @Before
    public void setup() throws Exception{
        System.out.println("-----setup-----");
        configuration = new Configuration();
        configuration.set("dfs.replication", "1");
        /*
         *构造一个访问指定HDFS系统的客户端对象
         * 第一个参数：HDFS的URI
         * 第二个参数：客户端指定的配置参数
         * 第三个参数：客户的用户名
         */
        fileSystem = FileSystem.get(new URI("hdfs://hadoop000:8020"), configuration, "hadoop");
    }

    /*
     * 创建HDFS文件并写入内容
     */
    @Test
    public void create()throws Exception{
        //FSDataOutputStream out = fileSystem.create(new Path("/hdfsApi/test/t.txt"));
        FSDataOutputStream out = fileSystem.create(new Path("/hdfsApi/test/x.txt"));
        out.writeUTF("hello JieQiong Replication 1");
        out.flush();   //立即将缓冲区的数据输出到接收方
        out.close();
    }

    @Test
    public void testReplication(){
        //get(name, value)
        System.out.println(configuration.get("dfs.replication"));
    }

    @After
    public void tearDown(){
        System.out.println("-----tearDown-----");

        //置空
        configuration = null;
        fileSystem = null;
    }
}