Hadoop常用命令总结
一、查看文件
1、查看目录下文件
hdfs dfs -ls /user/hadoopDemo
2、查看文件内容
hdfs dfs -cat /user/hadoopDemo/hadoop/output
hdfs dfs -text /user/hive/47-0000000001407771492 | grep "筛选内容"
3、查看本用户回收站删除文件会放入回收站
hdfs dfs -du -s -h /user/hive/.Trash/*
4、递归查询目录下有哪些目录和文件
hdfs dfs -ls -R /usr/hive/warehouse/iceberg_test.db/test1
二、文件操作
1、创建目录
hdfs dfs -mkdir /user/hadoopDemo
2、上传下载本地文件到hdfs
上传:hdfs dfs -put 本地文件 /hdfs路径
上传:hadoop fs -copyFromLocal localsrc dst 与hadoop fs -put功能类似
上传:hadoop fs -moveFromLocal localsrc dst 将本地文件上传到hdfs,同时删除本地文件
下载:hadoop fs -get /user/hadoop/a.txt ~/
3、查看文件夹大小(第一列本机,第二列副本总大小,-s当前文件夹总大小)
文件夹大小 hdfs dfs -du -h /user/hive/warehouse/dw.db/logbak
总大小 hdfs dfs -du -s -h /user/hive/warehouse/dw.db/logbak
4、!!!递归删除文件夹
hdfs dfs -rmr /user/hadoopDemo/hadoop/output
5、!!!删除文件夹
hdfs dfs -rm -r /user/hive/warehouse/bdg_inf.db/文件名
6、!!!删除文件夹,删除后会落到本用户的.Trash回收站里面,切hdfs用户
hdfs dfs -rm -r /nameservice1/user/hdfs/.Trash/Current/user/hive/.Trash/210910080014
7、!!!删除文件(跳过回收站)
hdfs dfs -rm -skipTrash //user/hive/warehouse/bdg_inf.db/文件名
8、恢复删除的文件
hdfs dfs -mv /nameservice1/user/hdfs/.Trash/Current/user/hive/文件1 /user/root/input
9、!!!循环删除hdfs分区文件
seq 20210501 20210531 | xargs -n1 -i hdfs dfs -rm -r /user/hive/warehouse/dw.db/logbak/batchEventLog/dt={}
date -f <(seq -f%.0f 20210119 20210212) +%Y%m%d 2>/dev/null | xargs -n1 -i hdfs dfs -rm -r -skipTrash /user/hive/warehouse/dw.db/logbak/gsLog/dt={}
10、复制移动文件
hadoop fs -cp src dst
hadoop fs -mv src dst
11、集群执行jar包
cd /Users/heishuidi/JavaProject/HadoopDemo/target hadoop jar hadoopDemo-1.0-SNAPSHOT.jar EventCount /user/hadoopDemo/hadoop /user/hadoopDemo/hadoop/output
12、查看执行结果
hdfs dfs -cat /user/hadoopDemo/hadoop/output/part-r-00000
13、统计某个目录下文件数量
hdfs dfs -ls /user/hive/warehouse/data_lake_ods.db/order_info1/data | wc -l
hadoop fs -count /user/hive/warehouse/data_lake_ods.db/order_info1/data
14、回收站
hdfs dfs -ls ofs://***/user/one_dw/.Trash/Current/user/hive/warehouse/one_dw.db/ods_table
三、资源查看
1、查看文件系统的基本信息和统计信息
hdfs dfsadmin -report
2、检查整个文件系统的健康状况
hadoop fsck /目录
四、yarn管理
1、kill 任务
yarn application -kill application_id
2、yarn查看日志
yarn logs -applicationId application_1635243110677_366628 -appOwner hadoop > application_1635243110677_366628.log