Hadoop常用命令总结

一、查看文件

1、查看目录下文件

hdfs dfs -ls /user/hadoopDemo

2、查看文件内容

hdfs dfs -cat /user/hadoopDemo/hadoop/output

hdfs dfs -text /user/hive/47-0000000001407771492 | grep "筛选内容"

3、查看本用户回收站删除文件会放入回收站

hdfs dfs -du -s -h /user/hive/.Trash/*

4、递归查询目录下有哪些目录和文件

 hdfs dfs -ls -R /usr/hive/warehouse/iceberg_test.db/test1

二、文件操作

1、创建目录

hdfs dfs -mkdir /user/hadoopDemo

2、上传下载本地文件到hdfs

上传：hdfs dfs -put 本地文件 /hdfs路径

上传：hadoop fs -copyFromLocal localsrc dst 与hadoop fs -put功能类似

上传：hadoop fs -moveFromLocal localsrc dst 将本地文件上传到hdfs，同时删除本地文件

下载：hadoop fs -get /user/hadoop/a.txt ~/

3、查看文件夹大小（第一列本机，第二列副本总大小，-s当前文件夹总大小）

文件夹大小 hdfs dfs -du -h /user/hive/warehouse/dw.db/logbak

总大小 hdfs dfs -du -s -h /user/hive/warehouse/dw.db/logbak

4、！！！递归删除文件夹

hdfs dfs -rmr /user/hadoopDemo/hadoop/output

5、！！！删除文件夹

hdfs dfs -rm -r /user/hive/warehouse/bdg_inf.db/文件名

6、！！！删除文件夹，删除后会落到本用户的.Trash回收站里面，切hdfs用户

hdfs dfs -rm -r /nameservice1/user/hdfs/.Trash/Current/user/hive/.Trash/210910080014

7、！！！删除文件（跳过回收站）

hdfs dfs -rm -skipTrash //user/hive/warehouse/bdg_inf.db/文件名

8、恢复删除的文件

hdfs dfs -mv /nameservice1/user/hdfs/.Trash/Current/user/hive/文件1 /user/root/input

9、！！！循环删除hdfs分区文件

seq 20210501 20210531 | xargs -n1 -i hdfs dfs -rm -r /user/hive/warehouse/dw.db/logbak/batchEventLog/dt={}

date -f <(seq -f%.0f 20210119 20210212) +%Y%m%d 2>/dev/null | xargs -n1 -i hdfs dfs -rm -r -skipTrash /user/hive/warehouse/dw.db/logbak/gsLog/dt={}

10、复制移动文件

hadoop fs -cp src dst

hadoop fs -mv src dst

11、集群执行jar包

cd /Users/heishuidi/JavaProject/HadoopDemo/target hadoop jar hadoopDemo-1.0-SNAPSHOT.jar EventCount /user/hadoopDemo/hadoop /user/hadoopDemo/hadoop/output

12、查看执行结果

hdfs dfs -cat /user/hadoopDemo/hadoop/output/part-r-00000

13、统计某个目录下文件数量

hdfs dfs -ls /user/hive/warehouse/data_lake_ods.db/order_info1/data | wc -l

hadoop fs -count /user/hive/warehouse/data_lake_ods.db/order_info1/data

14、回收站

hdfs dfs -ls ofs://***/user/one_dw/.Trash/Current/user/hive/warehouse/one_dw.db/ods_table

 

三、资源查看

1、查看文件系统的基本信息和统计信息

hdfs dfsadmin -report

2、检查整个文件系统的健康状况

hadoop fsck /目录

四、yarn管理

1、kill 任务

yarn application -kill application_id

2、yarn查看日志

yarn logs -applicationId application_1635243110677_366628 -appOwner hadoop > application_1635243110677_366628.log