HDFS编程 —— 用Java API 操作HDFS
使用Java操作HDFS,首先需要创建maven工程,创建maven工程的方法:https://www.cnblogs.com/ynqwer/p/14540108.html。
在新建的maven工程的src/main/java/目录下就可以写Java程序操作HDFS,为了方便管理,可以在此目录下创建一个包,然后在包里面新建一个类,写代码操作HDFS。使用Java来操作HDFS大概可以分为三个步骤:
- 获取客户端对象
- 调用相应的方法来操作HDFS
- 关闭资源
根据这三个步骤,写出代码
package com.qwer.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/*
* 使用Java操作HDFS的步骤:
* 1、获取客户端对象
* 2、调用相应的方法来操作HDFS
* 3、关闭资源
*/
public class HdfsClient {
public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
// 集群通讯地址
URI uri = new URI("hdfs://centos1:8020");
// 集群配置
Configuration conf = new Configuration();
// 集群用户
String user = "hadoop";
// 获取客户端对象
FileSystem fs = FileSystem.get(uri, conf, user);
// 调用方法上传文件
fs.copyFromLocalFile(false, false, new Path("F:\\hadoop\\input\\test.txt"),new Path( "/test1"));
// 关闭资源
fs.close();
System.out.println("SUCESS!");
};
}
运行上面的代码,可以看到在HDFS的根目录下创建了一个test1文件,数据副本数为3
在上面的代码中,可以用conf.set()来进行一些设置,例如:conf.set("dfs.replication", "2")来设置上传时候的数据副本数为2,代码如下
package com.qwer.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/*
* 使用Java操作HDFS的步骤:
* 1、获取客户端对象
* 2、调用相应的方法来操作HDFS
* 3、关闭资源
*/
public class HdfsClient {
public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
// 集群通讯地址
URI uri = new URI("hdfs://centos1:8020");
// 集群配置
Configuration conf = new Configuration();
// 设置数据副本数为2
conf.set("dfs.replication", "2");
// 集群用户
String user = "hadoop";
// 获取客户端对象
FileSystem fs = FileSystem.get(uri, conf, user);
// 调用方法上传文件
fs.copyFromLocalFile(false, false, new Path("F:\\hadoop\\input\\test.txt"),new Path( "/test2"));
// 关闭资源
fs.close();
System.out.println("SUCESS!");
};
}
执行上面代码,可以看到在HDFS的根目录下面创建了一个test2文件,数据副本数为2