hadoop- hdfs操作命令

hdfs 基本命令

1.hdfs命令行
    （1）查看帮助
        hdfs dfs -help 
        
    （2）查看当前目录信息
        hdfs dfs -ls /
        
    （3）上传文件
        hdfs dfs -put /本地路径 /hdfs路径
        
    （4）剪切文件
        hdfs dfs -moveFromLocal a.txt /aa.txt
        
    （5）下载文件到本地
        hdfs dfs -get /hdfs路径 /本地路径
        
    （6）合并下载
        hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件
        
    （7）创建文件夹
        hdfs dfs -mkdir /hello
        
    （8）创建多级文件夹
        hdfs dfs -mkdir -p /hello/world
        
    （9）移动hdfs文件
        hdfs dfs -mv /hdfs路径 /hdfs路径
        
    （10）复制hdfs文件
        hdfs dfs -cp /hdfs路径 /hdfs路径
        
    （11）删除hdfs文件
        hdfs dfs -rm /aa.txt
        
    （12）删除hdfs文件夹
        hdfs dfs -rm -r /hello
        
    （13）查看hdfs中的文件
        hdfs dfs -cat /文件
        hdfs dfs -tail -f /文件
        
    （14）查看文件夹中有多少个文件
        hdfs dfs -count /文件夹
        
    （15）查看hdfs的总空间
        hdfs dfs -df /
        hdfs dfs -df -h /
        
    （16）修改副本数    
        hdfs dfs -setrep 1 /a.txt

 

查看hdfs磁盘空间

[root@node151 ~]# hdfs dfs -du -h -s /warehouse/tablespace/managed/hive/ods.db
847.7 G 2.5 T /warehouse/tablespace/managed/hive/ods.db

847.7G是单个副本大小，2.5T是3个副本大小

查看目录下所有表大小

 

复制hdfs文件到另一个集群中

hadoop distcp -overwrite hdfs://nameservice1:8020/user/hive/test hdfs://ip:8020/user/hive/test

 

检查状态
hadoop dfsadmin -report

检查坏的块
hdfs fsck /user/hive/warehouse/airport_ods_all.db/airport_ods_acdm_ods_acdm_noams_bill/part-00000-5ad0c3ad-e201-49eb-a921-df9da23922fb-c000 -files -blocks -racks

 

恢复副本
hdfs dfs -setrep -w 3 /user/hive/warehouse/airport_ods_all.db/airport_ods_acdm_ods_acdm_noams_bill/part-00000-5ad0c3ad-e201-49eb-a921-df9da23922fb-c000