HDFS的文件系统操作命令

下面分享一下最近学到的HDFS的有关文件系统操作shell命令

一、创建文件夹

hadoop fs -mkdir [-p] <path> ...

hdfs dfs -mkdir [-p] <path> ...

#hadoop fs -mkdir -p /ijc/bigdata
#hdfs fs -mkdir -p /jc/hadoop

二、查看指定目录下内容

hadoop fs -ls [-h] [-R] [<path> ...] 

hdfs dfs -ls [-h] [-R] [<path> ...]

 三、上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] <localsrc> ... <dst>

hdfs dfs -put [-f] [-p] <localsrc> ... <dst>

#hadoop fs -put words.txt /jc

#hdfs dfs -put file:///etc/profile hdfs://node1:8020/jc

 

 四、查看 HDFS文件内容

hadoop fs -cat <src> ...
 
hdfs dfs -cat <src> ...
#hadoop fs -cat /jc

#hdfs dfs -cat /jc

如果文件较大，可以进行按页查询

hadoop fs -cat <src> | more
hdfs dfs -cat <src> | more

五、下载HDFS文件

hadoop fs -get [-f] [-p] <src> ... <localdst>
hdfs dfs -get [-f] [-p] <src> ... <localdst>
        
下载文件到本地文件系统指定目录，localdst必须是目录
      
  -f 覆盖目标文件（已存在下）
      
  -p 保留访问和修改时间，所有权和权限。

 

六、拷贝HDFS文件

hadoop fs -cp [-f] <src> ... <dst> 
hdfs dfs -cp [-f] <src> ... <dst>
      
  -f 覆盖目标文件（已存在下）

 

七、追加数据到HDFS文件中

hadoop fs -appendToFile <localsrc> ... <dst>
hdfs dfs -appendToFile <localsrc> ... <dst>
        将所有给定本地文件的内容追加到给定dst文件。 
        dst如果文件不存在，将创建该文件。 
        如果<localSrc>为-，则输入为从标准输入中读取。

 

八、HDFS数据移动操作

hadoop fs -mv <src> ... <dst>
hdfs dfs -mv <src> ... <dst>    
        移动文件到指定文件夹下
        可以使用该命令移动数据，重命名文件的名称

 

九、HDFS数据删除操作

hadoop fs -rm -r [-skipTrash] URI [URI ...]
hdfs dfs -rm -r [-skipTrash] URI [URI ...]    
        删除指定路径的文件或文件夹
        -skipTrash 跳过回收站，直接删除

 

  回收站需要自己手动开启

在core-site.xml内配置

property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
 
<property>
<name>fs.trash.checkpoint.interval</name>
<value>120</value>
</property>

 

总结