杂碎记录

free -h 查看liunx内存使用情况

df -h 查看hadoop中空间占用命令

du -h -x --max-depth=1  查看当前路径下哪个目录占用过高

hadoop dfsadmin -report   //检查hadoop的使用情况

hdfs修复　

hadoop命令fsck命令        在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。

具体命令介绍：

-move: 移动损坏的文件到/lost+found目录下
-delete: 删除损坏的文件
-openforwrite: 输出检测中的正在被写的文件
-list-corruptfileblocks: 输出损坏的块及其所属的文件
-files: 输出正在被检测的文件
-blocks: 输出block的详细报告 （需要和-files参数一起使用）
-locations: 输出block的位置信息 （需要和-files参数一起使用）
-racks: 输出文件块位置所在的机架信息（需要和-files参数一起使用）

例子：

hdfs debug recoverLease -path <path-of-the-file> -retries <retry times>

hdfs fsck / #检查集群的健康状态
hdfs debug recoverLease -path 文件位置 -retries 重试次数 #修复指定的hdfs数据块。也就是关闭打开的文件。

hadoop fsck /data/user/ -files -blocks -locations  //打印出该目录下所有块的位置等信息

hdfs fsck  /data/part-m-00005 -files -blocks -locations -racks //打印出该目录下所有块的位置的网络拓扑等信息

hadoop fsck /user openforwrite  //检查是否有数据块正在写入

统计某类文件大大小：

 hdfs dfs -du /warehouse/filed.db/dataitem1_202411/f=20241115_*/*20241115* |awk '{sum+=$1}; END{print sum}'