Windows环境下对Linux环境下的HDFS进行基本操作

练习项目的代码地址：https://url56.ctfile.com/f/34653256-538963409-4254a0

一、基础环境要求：

（一）首先保证虚拟机中Hadoop正常启动。

（二）Windows环境中是通过IDE(Eclipse) 创建项目，使用的是Maven环境，需要配置好并集成到IDE(Eclipse)中。

二、在Windows环境下可以对虚拟机中Linux环境下的HDFS进行操作。

（一）项目使用Maven创建，pom.xml配置文件如下：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.xlglvc.xxx.dsj</groupId>
  <artifactId>hadooptest</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <name>hadooptest</name>
  <description>hadooptest</description>
    
   <properties>
         <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
         <hadoop.version>2.7.3</hadoop.version>
   </properties>
   
   <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
           <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
        </dependency>
    </dependencies>
</project>

（二）代码：

1、集群中HDFS配置的是9000端口

2、创建主类

package com.xlglvc.xxx.dsj.test;
 
import org.apache.hadoop.conf.Configuration;
 
import org.apache.hadoop.fs.*;
 
import java.io.IOException;
 
import java.net.URI;
 
import java.net.URISyntaxException;
 
import java.util.Arrays;
 
public class HadoopApp {
 
public static void main(String[] args) {
 
}
 
}

3、单独的方法

（1）创建目录：在IDE中执行代码可以在HDFS上创建文件夹。

代码如下：

private static void createDir01() {
 
String HDFS_PATH = "hdfs://192.168.155.100:9000/";
 
Configuration configuration = null;
 
FileSystem fileSystem = null;
 
configuration = new Configuration();
 
try {
 
fileSystem =FileSystem.get(new URI(HDFS_PATH),configuration,"root");
 
fileSystem.mkdirs(new Path("/HDFSJava"));//创建目录
 
} catch (Exception e) {
 
e.printStackTrace();
 
} finally {
 
fileSystem = null;
 
configuration = null;
 
System.out.println("--------------end---------------");
 
}
 
}

效果：运行代码后，目录已正确创建。

（2）创建文件：在IDE中执行代码可以在HDFS上创建文件。

代码如下：

private static void createFile02(){
 
String HDFS_PATH = "hdfs://192.168.155.100:9000/";
 
Configuration configuration = null;
 
FileSystem fileSystem = null;
 
configuration = new Configuration();
 
try {
 
fileSystem =FileSystem.get(new URI(HDFS_PATH),configuration,"root");
 
FSDataOutputStream output = fileSystem.create(new Path("/HDFSJava/mobiles.txt"));
 
output.write("111".getBytes());
 
output.flush();
 
output.close();
 
} catch (Exception e) {
 
e.printStackTrace();
 
} finally {
 
fileSystem = null;
 
configuration = null;
 
System.out.println("--------------end---------------");
 
}
 
}

效果：运行后查看文件，可以正确创建。

（3）重命名文件，在IDE中执行代码可以在HDFS上重命名文件。

代码如下：

private static void reameFile03(){
 
String HDFS_PATH = "hdfs://192.168.155.100:9000/";
 
Configuration configuration = null;
 
FileSystem fileSystem = null;
 
configuration = new Configuration();
 
try {
 
fileSystem =FileSystem.get(new URI(HDFS_PATH),configuration,"root");
 
Path oldPath = new Path("/HDFSJava/mobiles.txt");
 
Path newPath = new Path("/HDFSJava/newMobile.txt");
 
System.out.println(fileSystem.rename(oldPath,newPath));
 
} catch (Exception e) {
 
e.printStackTrace();
 
} finally {
 
fileSystem = null;
 
configuration = null;
 
System.out.println("--------------end---------------");
 
}
 
}

效果：查看文件已经重新命名。

（4）将本地系统文件上传，在IDE中执行代码可以将Windows系统上的文件上传到Linux环境中的HDFS上。

代码如下：

private static void copyFromLocalFile04(){
 
String HDFS_PATH = "hdfs://192.168.155.100:9000/";
 
Configuration configuration = null;
 
FileSystem fileSystem = null;
 
configuration = new Configuration();
 
try {
 
fileSystem =FileSystem.get(new URI(HDFS_PATH),configuration,"root");
 
Path srcPath = new Path("E://errlog.txt");//本地系统上的目录
 
Path destPath = new Path("/HDFSJava");
 
fileSystem.copyFromLocalFile(srcPath,destPath);
 
} catch (Exception e) {
 
e.printStackTrace();
 
} finally {
 
fileSystem = null;
 
configuration = null;
 
System.out.println("--------------end---------------");
 
}
 
}

效果：查看本地系统的文件已经上传。

（5）查看指定目录下的所有文件，，在IDE中执行代码可以将Linux环境中的HDFS上的特定目录下的文件信息展示。

代码如下：

private static void listFiles05(){
 
String HDFS_PATH = "hdfs://192.168.155.100:9000/";
 
Configuration configuration = null;
 
FileSystem fileSystem = null;
 
configuration = new Configuration();
 
try {
 
fileSystem =FileSystem.get(new URI(HDFS_PATH),configuration,"root");
 
FileStatus[] list = fileSystem.listStatus(new Path("/HDFSJava"));//HDFSJava目录下
 
for (FileStatus fileStatus : list) {
 
String isDirectory = fileStatus.isDirectory()?"文件夹":"文件";
 
String permission = fileStatus.getPermission().toString();//权限
 
short replication = fileStatus.getReplication();//副本系数
 
long len = fileStatus.getLen();//长度
 
String path = fileStatus.getPath().toString();//路径
 
System.out.println(isDirectory + "\t" +permission+"\t"+ replication+"\t"+len+"\t"+path);
 
}
 
} catch (Exception e) {
 
e.printStackTrace();
 
} finally {
 
fileSystem = null;
 
configuration = null;
 
System.out.println("--------------end---------------");
 
}
 
}

效果：可以看到在Wndows环境下的IDE的打印区域，看到Linux中HDFS上的文件信息。

（6）查看上传的文件块信息，在IDE中执行代码可以查看Linux环境中的HDFS上的文件块信息。

代码如下：

private static void blockLocations06(){
 
String HDFS_PATH = "hdfs://192.168.155.100:9000/";
 
Configuration configuration = null;
 
FileSystem fileSystem = null;
 
configuration = new Configuration();
 
try {
 
fileSystem =FileSystem.get(new URI(HDFS_PATH),configuration,"root");
 
FileStatus fileStatus = fileSystem.getFileStatus(new Path(HDFS_PATH + "HDFSJava/errlog.txt"));
 
BlockLocation[] blockLocations = fileSystem.getFileBlockLocations(fileStatus,
 
0, fileStatus.getLen());
 
for (BlockLocation block : blockLocations) {
 
System.out.println(Arrays.toString(block.getHosts()) + "\t"
 
+ Arrays.toString(block.getNames()));
 
}
 
} catch (Exception e) {
 
e.printStackTrace();
 
} finally {
 
fileSystem = null;
 
configuration = null;
 
System.out.println("--------------end---------------");
 
}
 
}