hdfs常用shell命令

 

1、创建文件夹

hadoop fs -mkdir [-p] ...

path 为待创建的目录

-p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。

hdfs dfs -mkdir /temp

 

2、查看指定目录下内容

hadoop fs -ls [-h] [-R] [ ...]

path 指定目录路径

-h 人性化显示文件size

-R 递归查看指定目录及其子目录

hdfs dfs -ls /

 

3、上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] ...

-f 覆盖目标文件（已存在下）

-p 保留访问和修改时间，所有权和权限。

localsrc 本地文件系统（客户端所在机器）

dst 目标文件系统（HDFS）

hdfs dfs -put /usr/local/soft/jdk-8u331-linux-x64.tar.gz /shujia/

类似命令： hdfs dfs -copyFromLocal 源文件夹 目标文件夹 #copyFromLocal

作用同put hdfs dfs -moveFromLocal 源文件夹 目标文件夹 #上传后删除本地

 

4、查看HDFS文件内容

hadoop fs -cat ...

读取指定文件全部内容，显示在标准输出控制台。

注意：对于大文件内容读取，慎重。

hdfs dfs -cat /shujia/students.txt

 

5、下载HDFS文件

hadoop fs -get [-f] [-p] ...

下载文件到本地文件系统指定目录，localdst必须是目录

-f 覆盖目标文件（已存在下）

-p 保留访问和修改时间，所有权和权限。

hdfs dfs -get /shujia/jdk-8u331-linux-x64.tar.gz

类似命令 hdfs dfs -copyToLocal 源文件夹 目标文件夹　　 #copyToLocal

作用同get hdfs dfs -moveToLocal 源文件夹 目标文件夹 　　#get后删除源文件

 

6、拷贝HDFS文件

hadoop fs -cp [-f] ...

-f 覆盖目标文件（已存在下）

hdfs dfs -cp /shujia/jdk-8u331-linux-x64.tar.gz /aa

 

7、追加数据到HDFS文件中

hadoop fs -appendToFile ...

将所有给定本地文件的内容追加到给定dst文件。

dst如果文件不存在，将创建该文件。

如果为-，则输入为从标准输入中读取。

hdfs dfs -appendToFile a.txt /shujia/students.txt

 

8、HDFS数据移动操作

hadoop fs -mv ...

移动文件到指定文件夹下

可以使用该命令移动数据，重命名文件的名称

hdfs dfs -mv /shujia/students.txt /aa/bb/

 

9、创建文件

hdfs dfs -touchz path

该命令不可递归创建文件，即当该文件的上级目录不存在时无法创建该文件，如果重复创建会覆盖原有的内容

hdfs dfs -touchz /hello.txt

 

10、查看磁盘使用情况

hdfs dfs -du path

查看path下的磁盘情况，单位字节

hdfs dfs -du /

 

11、修改权限

hdfs dfs -chmod [权限参数][拥有者][:[组]] path

hdfs dfs -chmod 777 /hello.txt

 

12、删除文件

hdfs dfs -rm 目标文件 #rm不可以删除文件夹

hdfs dfs -rm -R 目标文件 #递归删除（慎用）

hdfs dfs -rm /hello.txt hdfs dfs -rm -R /aa