HDFS命令行操作 和 api操作
HDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成，甚至可以通过Web协议（webhsfs）来操作。HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例如客户端写入读取文件的直接操作都是分布在集群各个机器上的，没有单点性能压力。
HDFS相关的搭建可以看我前面的一篇博文，我们今天主要来讲下怎么操作hdfs的api和 hdfs命令行，
java内操作HDFS需要先配置仓库
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>
</repositories>
//导包
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
例子：通过api创建目录
this.configuration = new Configuration();
this.fileSystem = FileSystem.get(new URI(this.HDFS_PATH),configuration,"hadoop");
Path path = new Path("/hdfsapi/test");
boolean result = fileSystem.mkdirs(path);
通过API读取文件，回写到本地
Path path = new Path("/gwyy.txt");
FSDataInputStream fsDataInputStream = fileSystem.open(path);
FileOutputStream fileOutputStream = new FileOutputStream(new File("a.txt"));
byte[] buffer = new byte[1024];
int length = 0;
StringBuffer sb = new StringBuffer();
while( ( length = fsDataInputStream.read(buffer)) != -1) {
sb.append(new String(buffer,0,buffer.length));
fileOutputStream.write(buffer,0,buffer.length);
}
System.out.println(sb.toString());
HDFS 创建文件并且写入内容
FSDataOutputStream out = fileSystem.create(new Path("/fuck.txt"));
out.writeUTF("aaabbb");
out.flush();
out.close();
HDFS 重名
boolean a = fileSystem.rename(new Path("/fuck.txt"),new Path("/fuck.aaa"));
System.out.println(a);
HDFS拷贝文件
fileSystem.copyFromLocalFile(new Path("a.txt"),new Path("/copy_a.txt"));
HDFS上传大文件
InputStream in = new BufferedInputStream(new FileInputStream(new File("hive-1.1.0-cdh5.15.1.tar.gz")));
Path dst = new Path("/hive.tar.gz");
//显示进度条
FSDataOutputStream out = fileSystem.create(dst, new Progressable() {
@Override
public void progress() {
System.out.flush();
System.out.print('.');
}
});
byte[] buffer = new byte[4096];
int length = 0;
//写入到 hdfs
while((length = in.read(buffer,0,buffer.length)) != -1) {
out.write(buffer,0,buffer.length);
}
HDFS下载文件
fileSystem.copyToLocalFile(new Path("/fuck.aaa"),new Path("./"));
HDFS 列出所有文件
FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/"));
for (FileStatus f:fileStatuses) {
System.out.println(f.getPath());
}
HDFS 递归列出文件
RemoteIterator<LocatedFileStatus> remoteIterator = fileSystem.listFiles(new Path("/"),true);
while(remoteIterator.hasNext()) {
LocatedFileStatus file = remoteIterator.next();
System.out.println(file.getPath());
}
HDFS查看文件区块
FileStatus fileStatus = fileSystem.getFileStatus(new Path("/jdk-8u221-linux-x64.tar.gz"));
BlockLocation[] blockLocations = fileSystem.getFileBlockLocations(fileStatus,0,fileStatus.getLen());
//查看区块
for (BlockLocation b:blockLocations) {
for (String name:b.getNames()) {
System.out.println(name + b.getOffset() + b.getLength());
}
}
HDFS删除文件
如果路径是目录并设置为*如果为true，则删除目录，否则引发异常。在*对于文件，递归可以设置为true或false。
boolean a = fileSystem.delete(new Path("/gwyy.txt"),true);
System.out.println(a);
下面我们介绍下HDFS的命令行操作
查看 hdfs 文件根目录
hadoop fs -ls /
上传文件到 hdfs的根目录
hadoop fs -put gwyy.txt /
从本地拷贝文件到hdfs
hf -copyFromLocal xhc.txt /
####从本地移动文件到hdfs 本地文件删除 hf -moveFromLocal a.txt /
查看文件内容
hadoop fs -cat /gwyy.txt hadoop fs -text /gwyy.txt
从 hdfs里拿文件到本地
hadoop fs -get /a.txt ./
HDFS创建文件夹
hadoop fs -mkdir /hdfs-test
从A文件夹移动到B文件夹
hadoop fs -mv /a.txt /hdfs-test/a.txt
文件复制操作
hadoop fs -cp /hdfs-test/a.txt /hdfs-test/a.txt.back
把多个文件合并到一起 导出来
hadoop fs -getmerge /hdfs-test ./t.txt
删除一个文件
hf -rm /hdfs-test/a.txt.back
删除一个目录
hadoop fs -rmdir /hdfs-test 只能删除空目录 hadoop fs -rm -r /hdfs-test 删除目录不管有没有东西都删
