Hadoop学习（四） FileSystem Shell命令详解
FileSystem Shell中大多数命令都和unix命令相同，只是两者之间的解释不同，如果你对unix命令有基本的了解，那么对于FileSystem Shell的命令，你将会感到很亲切。
appendToFile
语法：hdfs dfs -appendToFile <localsrc> ... <dst>
解释：将本地文件系统中的一个文件或多个文件添加到目标文件系统中，也可以从stdin读取input文件添加到目标文件系统中
范例：
1 $ hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile 2 $ hdfs dfs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile 3 $ hdfs dfs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile 4 $ hdfs dfs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin
返回结果：
成功返回0，错误返回1
cat
语法：hdfs dfs -cat URI [URI ...]
解释：打印资源路径到控制台
范例：
1 $ hdfs dfs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 2 $ hdfs dfs -cat file:///file3 /user/hadoop/file4
返回结果：
成功返回0，错误返回1
chgrp
语法：hdfs dfs -chgrp [-R] GROUP URI [URI ...]
解释：改变文件之间的组关系，操作者必须是文件所有者或者至少是超级用户
范例：
1 $ hdfs df -chgrp bigdata hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 2 $ hdfs df -chgrp bigdata file:///file3 /user/hadoop/file4
返回结果：无
chmod
语法：hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
解释：变更文件权限，-R参数将文件及其所有子文件权限变更，操作者必须是文件所有者或者至少是超级用户
范例：
1 #g+w表示给组划分权限，a+w表示给所有用户和组划分权限，u+w表示给用户划分权限 2 $ hdfs dfs -chmod g+w hdfs://nn1.example.com/file1 3 $ hdfs dfs -chmod -R g+w hdfs://nn1.example.com/file2
返回结果：无
chown
语法：hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
解释：变更文件所有者，操作者必须是超级用户
范例：
1 $ hdfs dfs -chown -R newOwner:newOwner_group hdfs://nn1.example.com/file1
返回结果：无
copyFromLocal
语法：hdfs dfs -copyFromLocal <localsrc> URI
解释：该命令与put命令类似，但是该命令仅限于本地文件的添加
范例：
1 $ hdfs dfs -copyFromLocal localfile /user/hadoop/hadoopfile
返回结果：无
copyToLocal
语法：hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
解释：该命令与get命令类似，但是该命令仅限于本地文件的获取
范例：
1 $ hdfs dfs -copyFromLocal /user/hadoop/hadoopfile localfile
返回结果：无
count
语法：hdfs dfs -count [-q] [-h] <paths>
解释：计算目录、文件、以及字节数，输出的列为DIR_COUNT, FILE_COUNT, CONTENT_SIZE FILE_NAME
- -q：输出列QUOTA, REMAINING_QUATA、SPACE_QUOTA、REMAINING_SPACE_QUOTA、DIR_COUNT、FILE_COUNT、CONTENT_SIZE、FILE_NAME
- -h：可读格式的大小
范例：
1 $ hdfs dfs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 2 $ hdfs dfs -count -q hdfs://nn1.example.com/file1 3 $ hdfs dfs -count -q -h hdfs://nn1.example.com/file1
返回结果：
成功返回0，错误返回-1
cp
语法：hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>
解释：从源到目的地复制文件。此命令允许多个源，以及在这种情况下，目的地必须是一个目录。
范例：
1 $ hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 2 $ hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
返回结果：
成功返回0，错误返回-1
du
语法：hdfs dfs -du [-s] [-h] URI [URI ...]
解释：显示给定目录中的文件和目录的大小或文件的长度，以防其只是一个文件
- -s：该选项将导致显示文件长度的汇总，而不是单个文件。
- -h：选项将格式中的“可读的”时尚大小文件（如64.0m代替67108864）
范例：
1 $ hdfs dfs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1
返回结果：
成功返回0，错误返回-1
expunge
语法：hdfs dfs -expunge
解释：清空垃圾
范例：
1 $ hdfs dfs -expunge
返回结果：无
get
语法：hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
解释：复制文件到本地文件系统，
范例：
1 $ hdfs dfs -get /user/hadoop/file localfile 2 $ hdfs dfs -get hdfs://nn.example.com/user/hadoop/file localfile
返回结果：
成功返回0，错误返回-1
getfacl
语法：hdfs dfs -getfacl [-R] <path>
解释：显示访问控制列表（ACL）的文件和目录。如果一个目录的默认ACL，然后getfacl也显示默认的ACL。
- R：列出所有文件和目录递归ACL。
- path：文件或目录列表。
范例：
1 $ hdfs dfs -getfacl /file 2 $ hdfs dfs -getfacl -R /dir
返回结果：
成功返回0，错误返回非0
getfattr
语法：hdfs dfs -getfattr [-R] -n name | -d [-e en] <path>
解释：显示文件或目录的扩展属性名称和值（如果有的话）
- -R：递归列出所有文件和目录的属性。
- -n name：转储命名扩展属性值。
- -d：转储所有扩展属性的价值与路径。
- -e encoding：检索后编码值。有效的编码是“文本”、“妖术”，和“Base64”。编码值为文本字符串括在双引号，编码值为十六进制和Base64是前缀0x 0。
- path：文件或目录。
范例：
1 $ hdfs dfs -getfattr -d /file 2 $ hdfs dfs -getfattr -R -n user.myAttr /dir
返回结果：
成功返回0，错误返回非0
getmerge
语法：hdfs dfs -getmerge <src> <localdst> [addnl]
解释：合并源目录文件内容，并将合并结果输出到本地文件
范例：
1 $ hdfs dfs -getmerge hdfs://nn1.example.com/file1 localfile
返回结果：无
ls
语法：hdfs dfs -ls [-R] <args>
解释：列表展示目录下的所有文件，-R表示递归展示
范例：
1 $ hdfs dfs -ls /user/hadoop/file1
返回结果：
成功返回0，错误返回-1
lsr
语法：hdfs dfs -lsr <args>
解释：递归展示目录下的所有文件
范例：
1 $ hdfs dfs -lsr /user/hadoop/file1
返回结果：
成功返回0，错误返回-1
mkdir
语法：hdfs dfs -mkdir [-p] <paths>
解释：创建文件
范例：
1 $ hdfs dfs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 2 $ hdfs dfs -mkdir hdfs://nn1.example.com/user/hadoop/dir hdfs://nn2.example.com/user/hadoop/dir
返回结果：
moveFromLocal
语法：hdfs dfs -moveFromLocal <localsrc> <dst>
解释：该命令与put类似，不同之处是本地文件被复制后会被删除
范例：
1 $ hdfs dfs -moveFromLocal localfile hdfs://nn1.example.com/file1
返回结果：无
moveToLocal
语法：hdfs dfs -moveToLocal [-crc] <src> <dst>
解释：移动文件到本地文件系统
范例：
1 $ hdfs dfs -moveToLocal hdfs://nn1.example.com/file1 localfile
返回结果：无
mv
语法：hdfs dfs -mv URI [URI ...] <dest>
解释：移动文件到目标目录下
范例：
1 $ hdfs dfs -mv /user/hadoop/file1 /user/hadoop/file2 2 $ hdfs dfs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2 hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1
返回结果：
成功返回0，错误返回-1
put
语法：hdfs dfs -put <localsrc> ... <dst>
解释：复制单个或多个本地资源到目标文件系统。另外从stdin读取输入并写入到目标文件系统。
范例：
1 $ hdfs dfs -put localfile /user/hadoop/hadoopfile 2 $ hdfs dfs -put localfile1 localfile2 /user/hadoop/hadoopdir 3 $ hdfs dfs -put localfile hdfs://nn.example.com/hadoop/hadoopfile 4 $ hdfs dfs -put - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.
返回结果：
成功返回0，错误返回-1
rm
语法：hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI ...]
解释：删除资源
范例：
1 $ hdfs dfs -rm hdfs://nn.example.com/file /user/hadoop/emptydir
返回结果：
成功返回0，错误返回-1
rmr
语法：hdfs dfs -rmr [-skipTrash] URI [URI ...]
解释：递归删除资源，rmr取代-rm -r
范例：
1 $ hdfs dfs -rmr hdfs://nn.example.com/file /user/hadoop/emptydir
返回结果：
成功返回0，错误返回-1
setfcal
语法：hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
解释：设置文件和目录的访问控制列表
范例：
1 $ hdfs dfs -setfacl -m user:hadoop:rw-/file 2 $ hdfs dfs -setfacl -x user:hadoop /file 3 $ hdfs dfs -setfacl -b /file 4 $ hdfs dfs -setfacl -k /dir 5 $ hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r--/file 6 $ hdfs dfs -setfacl -R -m user:hadoop:r-x /dir 7 $ hdfs dfs -setfacl -m default:user:hadoop:r-x /dir
返回结果：
成功返回0，错误返回非0
setrep
语法：hdfs dfs -setrep [-R] [-w] <numReplicas> <path>
解释：更改文件的复制因素。如果路径是一个目录，则该命令递归地更改根目录树下所有文件的复制因素.
范例：
1 $ hdfs dfs -setrep -w 3/user/hadoop/dir1
返回结果：
成功返回0，错误返回-1
stat
语法：hdfs dfs -stat URI [URI ...]
解释：返回路径上的统计信息
范例：
1 $ hdfs dfs -stat path
返回结果：
成功返回0，错误返回-1
tail
语法： hdfs dfs -tail [-f] URI
解释：将文件的最后一千字节显示到stdout。
范例：
1 $ hdfs dfs -tail pathname
返回结果：
成功返回0，错误返回-1
test
语法：hdfs dfs -test -[ezd] URI
解释：检查资源
- -e：将检查文件是否存在，如果为true，则返回0。
- -z：将检查文件是否为零长度，如果为真则返回0。
- -d：将检查路径是否为目录，如果为true则返回0。
范例：
1 $ hdfs dfs -test -e filename
返回结果：
成功返回0，错误返回-1
text
语法：hdfs dfs -text <src>
解释：获取源文件并以文本格式输出文件。 允许的格式是zip和TextRecordInputStream。
范例：
1 $ hdfs dfs -text src
返回结果：无
touchz
语法：hdfs dfs -touchz URI [URI ...]
解释：创建空文件
范例:
1 $ hdfs dfs -touchz pathname
返回结果：
成功返回0，错误返回-1
