从零开始学Hadoop系列之File System命令一
1、Overview
文件系统(FS)shell包含多种能直接与HDFS(Hadoop Distributed File System)及Hadoop支持的其他文件系统，例如Local FS,HFTP FS,S3 FS等进行直接交互的命令。FS shell由bin/hadoop fs <args>发起。
所有的FS shell都将URI作为参数。URI的形式为：scheme://authority/path。HDFS的scheme为hdfs，Local FS的scheme为file。scheme和权限是可选的。如果没有指定shceme，则使用配置文件中的scheme。HDFS的文件或路径例如/parent/child可以简写为hdfs://namenodehost/parent/child或简写为/parent/child(考虑到配置设置指向hdfs://namenodehost)。
大多数FS shell的命令与Unix命令类似。两者的差异在对每个命令说明时指出。错误信息将发送到stderr，输出信息发送到stdout。
当使用HDFS时，hdfs和dfs是同义词。
更多详细信息请参考命令手册。
2 、appendToFile
使用：hadoop fs –appendToFile <localsrc> … <dst>
功能：把本地的一个或多个文件添加append到目标文件系统。也可以从stdin追加到目标文件系统。
Example：
- hadoop fs –appendToFile localfile /user/hadoop/hadoopfile
- hadoop fs –appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
- hadoop fs –appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile
- hadoop fs –appendToFile –hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin
返回值：追加成功则返回0，否则返回1
3 、cat
使用：hadoop fs –cat URI [URI …]
功能：将原路径的内容copy到stdout
Example：
- hadoop fs –cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
- hadoop fs –cat file:///file3 /user/hadoop/file4
返回值：成功返回0，否则返回-1
4 、checksum
使用：hadoop fs –checksum URI
功能：返回一个文件的检查值。
Example：
- hadoop fs –checksum hdfs://nn1.example.com/file1
- hadoop fs –checksum file:///etc/hosts
5 、chgrp
使用：hadoop fs –chgrp [-R] GROUP URI [URI …]
功能：改变文件所属组。使用该命令的用户必须是文件的所有者或者是超级用户。更多信息参考用户权限指南。
选项：使用-R选项将递归改变文件组信息。
6 、chmod
使用：hadoop fs –chmod [-R] <MODE [,MODE]… |OCTALMODE> URI [URI…]
功能：改变文件的权限。使用-R选项将递归改变文件权限信息。使用该命令的用户必须是文件的所有者或超级用户。更多信息请参考用户权限指南。
7 、chown
使用：hadoop fs –chown[-R] [OWNER] [:GROUP] URI [URI]
功能：改变文件权限。使用-R选项将递归改变文件权限。使用该命令的用户必须是文件所有者或超级用户。更多信息请参考用户权限指南。
8、copyFromLocal
使用：hadoop fs –copyFromLocal <localsrc> URI
功能：除了源文件必须为本地文件系统外其他与put命令相似。
选项：如果目标文件已经存在-f命令将重写目标文件。
9 、copyToLocal
使用：hadoop fs –copyToLocal [-ignorecrc] [-crc] URI <localdst>
功能：除了目标文件必须为本地文件外，其他与get命令相似。
10 、count
使用：hadoop fs –count [-q] [-h] [-v] <paths>
功能：计算指定目录下符合特定模式的文件夹、文件和字节数。使用-count输出列为：DIR_COUNT,FILE_COUNT,CONTENT_SIZE,PATHNAME
使用-count –q的输出列为：QUOTA,REMAINING_QUATA,SPACE_QUOTA,REMAINING_SPACE_QUOTA,DIR_COUNT,FILE_COUNT,CONTENT_SIZE,PATHNAME
使用-h选项使得输出的字节数可读性能强。
使用-v将展示首行。
Example：
- hadoop fs –count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
- hadoop fs –count –q hdfs://nn1.example.com/file1
- hadoop fs –count –q –h hdfs://nn1.example.com/file1
- hdfs dfs –count –q –h –v hdfs://nn1.example.com/file1
返回值：如果成功则返回0，否则返回-1。
11、cp
使用：hadoop fs –cp [-f] [-p | -p [topax]] URI [URI…] <dest>
功能：将文件从源路径copy到目标路径。该命令允许一次copy多个文件，但是此时目标必须是路径。
Example：
- hadoop fs –cp /user/hadoop/file1 /user/hadoop/file2
- hadoop fs –cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
返回值：如果成功则返回0，否则返回-1。
参考文献
官方文档
