Hadoop fs 命令详解

参考文档：https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#df

 

1. 环境：hadoop-2.6.0

2. 参数说明： hadoop fs
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] <path> ...]
[-cp [-f] [-p | -p[topax]] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-usage [cmd ...]]

 

-ls 显示当前目录结构

-ls -R 递归显示目录结构

-du 统计目录下文件大小 ;  -du -s 汇总目录下文件大小,单位字节  ; -du -h ,显示目录下各个文件的大小。  -du -s -h  /user/hive/warehouse/table_test ，汇总该表所占据的存储空间,显示单位。

-rm -f -r 递归删除目录文件

-cp -f 复制文件 source destination

-mv 移动文件或目录

-mkdir 创建目录

-get -f 下载文件

-put -f 上传文件

 

3. hadoop fs ，hadoop dfs ，hdfs dfs 都可以进行操作。 hadoop fs 的使用面最广，可以操作所有的文件系统； hadoop dfs ，hdfs dfs 只能操作 HDFS相关的文件。【Linux 目录环境】

4. 在hive 模式下，使用 dfs 命令进行相关操作，如删除文件：dfs -rm -r -f  /user/hive/warehouse/ods/t_column_to_row

5. hadoop fs -du  /user/hive/warehouse/ods  |sort -r -n -k 1 |awk '{ print $1/(1024*1024*1024),$3}'  |head -20   -- 查询指定目录下存储量最大的top20

 

------------------------传送门------------------------