检查hdfs文件块占用情况
批量执行检查脚本:
#!/bin/bash file_name="$1" if [ -z "$file_name" ];then echo "Pls input file path" exit 1 fi cat "$file_name"| while read line do hadoop fsck $line -blocks > temp.log echo $line >> final.log tail -11 temp.log >> final.log echo "">temp.log echo "Finish check $line" done
传入参数为文件名,将该文件和脚本放在同一目录下,该文件中每行记录一个hdfs中的文件全路径
如: /user/test/liwt/sic/studentTable
获取hdfs中文件列表的方式很多,在此不做赘述。