hdfs 常见命令

1. 创建目录

   hadoop fs –mkdir [-p] <path>
   

2. 查看目录下的内容

   hadoop fs –ls [-h] [-R] [<path>]
   -h  人性化显示文件大小
   -R 递归查看指定目录及子目录
   
   

3. 上传文件

   hadoop fs –put [-f] [-p] <localsrc> <dst>
   -f   覆盖目标文件(若文件已存在)
   -p   保留访问和修改时间、所有权和权限
   localsrc   本地文件系统
   dst   目标文件系统
   
   

4. 下载文件

   hadoop fs –get [-f] [-p] <src> <localdst>
   -f   覆盖目标文件(目标文件存在)
   -p   保留访问和修改时间、所有权和权限
   

5. 上传并删除文件

   hadoop fs –moveFromLocal <localsrc> <dst>
   
   

6. 下载并且删除

   hadoop fs –moveToLocal <localsrc> <dst>
   

7. 从本地拷贝文件

   hadoop fs -copyFromLocal <localsrc> <dst>
   
   

8. 拷贝文件到本地

   hadoop fs –copyToLocal <path> <localdst>
   
   

9. 合并下载文件

   hadoop fs –getmerge [-nl] [-skip-empty-file] <src> <localdst>
   -nl   每个文件末尾添加换行符
   -skip-empty-file   跳过空白文件
   
   

10. 拷贝文件

    hadoop fs –cp [-f] <src> <dst>
    -f   覆盖目标文件(文件存在的情况下)
    
    

11. 追加数据到文件中

    hadoop fs –appendToFile <localsrc> <dst>
    localsrc  本地文件，如果为”-”，则输入从标准输入中读取
    dst 目标文件不存在则创建
    

12. 查看文件内容

    hadoop fs –cat <src>
    
    

13. 查看文件开头内容

    hadoop fs –head <src>
    
    

14. 查看文件末尾内容

    hadoop fs –tail [-f] <src>
    -f   动态显示文件中追加的内容
    
    

15. 查看磁盘空间

    hadoop fs –df [-h] [<path>]
    
    

16. 查看文件使用的空间

    hadoop fs –du [-s] [-h] <path>
    -s   显示指定路径文件长度的汇总摘要而不是单个文件的摘要
    -h   人性化显示文件大小
    
    

17. 修改文件副本个数

    hadoop fs –setrep [-R] [-w] <rep> <path>
    -R 表示递归修改文件夹及其子目录所有
    -w 客户端是否等待副本修改完毕
    
    

18. 查看校验码信息

    hadoop fs –checksum <path>
    
    

19. 显示路径下的目录、文件和字节数

    hadoop fs -count [-q] [-h] [-v] <paths>
    -q   控制显示的列
    -v   显示标题行
    
    

20. 查找目录文件

    hadoop fs –find <path> <expression>
    expression说明：
    -name pattern   查找的文件名
    -iname pattern  忽略大小写查找文件名
    -print    打印(默认值)
    -print0   打印在一行
    
    

21. 删除文件

    hadoop fs –rm [-f] [-R|-r][-skipTrash] <path>
    -f   如果文件不存在，-f选项将不会显示诊断消息或修改退出状态以反映错误
    -R   选项递归地删除目录及其下的任何内容
    -skipTrash  选项将绕过垃圾箱（如果启用），并立即删除指定的文件
    
    

22. 移动文件

    hadoop fs –mv <src> <dst>