HDFS shell命令行常用操作

1、创建文件夹

hadoop fs -mkdir [-p] ...

path 为待创建的目录 -p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。

hadoop fs -mkdir -p /wjb/itcast

 

2、查看指定目录下内容

hadoop fs -ls [-h] [-R] [ ...]

path 指定目录路径

-h 人性化显示文件

size -R 递归查看指定目录及其子目录

[root@node1 ~]# hadoop fs -ls -h -R /wjb
执行结果：   drwxr-xr-x   - root supergroup    0 2022-08-17 10:59 /wjb/itcast

 

3、上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] ...

-f 覆盖目标文件（已存在下）

-p 保留访问和修改时间，所有权和权限。

localsrc 本地文件系统（客户端所在机器）

dst 目标文件系统（HDFS）

 

hadoop fs -put file:///root/1.txt hdfs://node1:8020/wjb

 

4、查看HDFS文件内容

hadoop fs -cat ...

读取指定文件全部内容，显示在标准输出控制台。

注意：对于大文件内容读取，慎重。

[root@node1 ~]# hadoop fs -cat /wjb/1.txt
hello hadoop!

 [root@node1 ~]# hadoop fs -tail /wjb/1.txt
 hello hadoop!

两种都可以

 

5、下载HDFS文件

hadoop fs -get [-f] [-p] ...

下载文件到本地文件系统指定目录，localdst必须是目录

-f 覆盖目标文件（已存在下）

-p 保留访问和修改时间，所有权和权限。

 

[root@node2 ~]# hadoop fs -get hdfs://node1:8020/wjb/1.txt file:///root/
[root@node2 ~]# ll
总用量 8
-rw-r--r--  1 root root   14 8月  17 11:15 1.txt
-rw-------. 1 root root 1340 9月  11 2020 anaconda-ks.cfg

 

6、拷贝HDFS文件

hadoop fs -cp [-f] ...

-f 覆盖目标文件（已存在下）

 

7、追加数据到HDFS文件中

hadoop fs -appendToFile ...

将所有给定本地文件的内容追加到给定dst文件。 dst如果文件不存在，将创建该文件。 如果为-，则输入为从标准输入中读取。

 [root@node2 ~]# echo Hello > 1.txt
 [root@node2 ~]# echo Hadoop > 2.txt
 [root@node2 ~]# echo ! > 3.txt
 [root@node2 ~]# hadoop fs -put 1.txt /wjb
 [root@node2 ~]# hadoop fs -appendToFile 2.txt 3.txt /wjb/1.txt
 [root@node2 ~]# hadoop fs -cat /wjb/1.txt
 Hello
 Hadoop
 !