HDFS03 HDFS的API操作
HDFS的API操作
目录
之前时用Shell的一写相关操作，集群内部操作。
我们希望在Windows环境对远程的集群进行一个客户端访问，现在就在Windows环境上写代码，写HDFS客户端代码，远程连接上集群，对它们进行增删改查相关操作。
客户端环境准备
1.下载windows支持的hadoop
2.配置环境变量
验证Hadoo环境变量是否正常，双击winutils.exe，没有报错就成功了。
3 在IDEA中创建一个Maven工程
1.创建一个maven工程
2.setting设置maven
3.添加相关依赖
日志(打印日志时控制级别)、单元测试、hadoop(版本号一定要和集群中的一样)
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
</dependencies>
4.在项目的 src/main/resources 目录下，新建一个文件，命名为“log4j.properties”，为了打印日志,添加如下代码
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
5.在src/main/java下创建包名:com.ranan.hdfs
6.在该类下创建HdfsClient类
创建好了客户端类，接下来写代码操作远程的服务器集群
7.客户端去操作HDFS时，默认采用windows默认用户去访问HDFS，会报权限异常错误。所以在访问 HDFS 时，一定要配置用户。
org.apache.hadoop.security.AccessControlException: Permission denied: user=NINGMEI, access=WRITE, inode="/":ranan:supergroup:drwxr-xr-x
HDFS的API实例
1.获取一个客服端对象
2.执行相关的操作命令
3.关闭资源
用客户端远程创建目录
@Test
public void testmkdir() throws IOException, URISyntaxException, InterruptedException {
//连接集群的nn内部地址
URI uri = new URI("hdfs://hadoop102:8020");
//创建一个配置文件
Configuration configuration = new Configuration();
//用户
String user = "ranan";
//1.获取客户端对象 FileSystem抽象类
FileSystem fs = FileSystem.get(uri, configuration,user);
//2.执行相关操作 创建的文件路径
fs.mkdirs(new Path("/xiyou/huaguoshan"));
//3.关闭资源
fs.close();
}
下面会频繁的初始化、获取客服端对象以及关闭资源。所以把封装起来。
//因为是测试方法，所以使用befor，after。先执行befor在执行test最后after
public class HdfsClient {
private FileSystem fs;
@Before
public void init() throws URISyntaxException, IOException, InterruptedException {
//连接集群的nn内部地址
URI uri = new URI("hdfs://hadoop102:8020");
//创建一个配置文件
Configuration configuration = new Configuration();
//用户
String user = "ranan";
//1.获取客户端对象
fs = FileSystem.get(uri, configuration,user);
}
@After
public void close() throws IOException {
//3.关闭资源
fs.close();
}
@Test
public void testmkdir() throws IOException {
//2.执行相关操作
fs.mkdirs(new Path("/xiyou/huaguoshan"));
}
}
HDFS用客户端上传文件copyFromLocalFile
@Test
public void testPut() throws IOException {
//2.执行相关操作
/*
参数1:删除原文件
参数2:HDFS上是否允许覆盖
参数3:原数据路径
参数4:目的路径
*/
fs.copyFromLocalFile(false,false,new Path("D:\\test.txt"),new Path("/"));
}
参数优先级
优先级由低到高
hdfs-default.xml -> hdfs-site.xml -> 在项目资源目录下的配置文件 -> 代码里的配置
测试案例1
在resources下新建一个file——hdfs-site.xml
在hdfs-site.xml中修改副本数为1
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
副本数变成1了，说明 resources 资源目录下的hdfs-site.xml 优先级更高
测试案例2
在客户端代码中配置副本数
configuration.set("dfs.replication","2");
副本数变成2，说明代码里的配置优先级更高。
HDFS用客户端下载文件copyToLocalFile
编写代码
@Test
public void testGet() throws IOException {
//2.执行相关操作
/*
参数1:是否删除HDFS上的原文件
参数2:HDFS上原文件的路径
参数3:目的路径
参数4:是否开启本地文件的校验,在传输的过程中验证文件是否完整传输
*/
fs.copyToLocalFile(false,new Path("hdfs://hadoop102/test.txt"),new Path("D:"),true);
}
执行结果
HDFS用客户端删除文件delete
编写代码
@Test
public void testDel() throws IOException {
//2.执行相关操作
/*
参数1:HDFS上要删除的路径
参数2:是否递归删除 非空目录需要递归删除
*/
fs.delete(new Path("/xiyou"),true);
}
HDFS用客户端更名和移动文件rename
重命名代码
@Test
public void testMv() throws IOException {
//2.执行相关操作
/*
参数1:要修改的文件路径
参数2:移动的目的地，如果和原文件一个路径则修改名称
*/
fs.rename(new Path("/test.txt"),new Path("/test1.txt"));
}
移动代码
@Test
public void testMv() throws IOException {
//2.执行相关操作
/*
参数1:要修改的文件路径
参数2:移动的目的地，如果和原文件一个路径则修改名称
*/
fs.rename(new Path("/test1.txt"),new Path("/tmp/test.txt"));
}
HDFS用客服端查看文件详情listFiles
查看文件名称、权限、长度、块信息
代码
@Test
public void fileDetail() throws IOException {
//2.执行相关操作
/*
参数1:查看文件的路径
参数2:递归
*/
// 获取所有文件信息,返回迭代器
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
// 遍历文件
while (listFiles.hasNext()) {
//每个文件相关信息
LocatedFileStatus fileStatus = listFiles.next();
//每个文件的路径
System.out.println("==========" + fileStatus.getPath() + "=========");
//每个文件的权限
System.out.println(fileStatus.getPermission());
//每个文件的所有者
System.out.println(fileStatus.getOwner());
//所属组
System.out.println(fileStatus.getGroup());
//文件大小
System.out.println(fileStatus.getLen());
//上次修改时间
System.out.println(fileStatus.getModificationTime());
//副本数
System.out.println(fileStatus.getReplication());
//块大小
System.out.println(fileStatus.getBlockSize());
//文件名称
System.out.println(fileStatus.getPath().getName());
// 获取块信息 [0(第一块数据从哪开始读),30(第一块数据读到哪里结束),hadoop102,hadoop103,hadoop104] 每个块的存储位置
BlockLocation[] blockLocations = fileStatus.getBlockLocations();
System.out.println(Arrays.toString(blockLocations));
}
}
HDFS文件和文件夹判断listStatus
案例
循环遍历文件夹，判断该文件夹里的内容是文件还是目录
@Test
public void testFile() throws IOException {
//2.执行相关操作
/*
参数1:遍历的文件夹
*/
//得到/下的内容
FileStatus[] listStatus = fs.listStatus(new Path("/"));
for (FileStatus status : listStatus) {
//getPath().getName()获得文件/目录名
if (status.isFile()) {
System.out.println("文件：" + status.getPath().getName());
} else {
System.out.println("目录：" + status.getPath().getName());
}
}
}
