阿里云oss空间清理（解决篇）
阿里云oss空间清理（解决篇）
接上篇文章阿里云oss空间清理之奇思妙想【https://www.cnblogs.com/windysai/p/15563914.html】
话说，上篇文章说到，可能能利用考试id（也就是之前截图的一长串无规律字符串命名的目录），把2019年（含2019）前的考试id从数据库找出来。第二天，我告诉开发叫他帮我找，说领导提到这个方法。然而，换来的是开发一句：他压根不懂业务，瞎指挥！咋说呢，
考试id和老师上传图片的时间没有任何关系，一个考试的生命周期大概经历：准备考试内容 —》创建考试 —》创建答题卡 —》打印答题卡—》考试—》扫描答题卡—》上传—》阅卷—》出报表
更有一种情况是，年底创建考试，第二年才上传图片，就是上面看到的oss文件更新时间。
当我收到开发查出来的数据时，发现考试id远远大于实际存放到oss的目录个数。给过来大概6万条，oss目录实际9千不到，而且有很多空目录，里面根本没有任何图片！
我就问为啥会这样， 他说，建了考试又不一定真的去考试（这时候就会出现一个考试id），考试了不一定上传图片，上传图片不一定阅卷，阅卷不一定发布（空目录，或者上传时间理创建时间差很远）。。。这下完全绝望了，难道只能人眼去看？！
上一篇文章已经说过，我find了一部分图片到本地（850天前的部分数据），因为线上硬盘空间不够，所以没跑完就人为中断了。
首先我事先声明，这些考试id的目录，stat 去看是没用的，竟然写着“1970年”，所以要从文件更新时间入手。然后文件命名是考试id作为前缀的。
解决思路：
1、所以第一步需要把拷下来的文件挪回到原考试id目录下，处理结果如下，第一列是该考试id下的文件数，第二列是当场考试id
预处理关键命令：
#1、获取数量列表，去掉行首空格 ls |awk -F'_' '{print $1}' | sort |uniq -c | sort -nr |sed 's/^[ \t]*//g' >> /tmp/test-1118
2、读取该文件，把考试文件挪回到归属地
3、配置远程ssh免秘钥，登陆到挂载有oss的服务器上，获取文件更改时间（不能获取本机时间，因为拉取下来会更改了文件时间）
4、根据关键字：2018或2019，备份到本机指定目录下
5、对比oss考试id的文件个数，及本机文件个数，相同则可以删除oss对应的考试id
1 keyword1="2018" 2 keyword2="2019" 3 4 ##进去考试文件目录（里面是一大堆以考试id为前缀的文件） 5 cd 考试文件目录 6 7 #2、从文件最多的目录开始处理 8 cat /tmp/test-1118 | while read line 9 do 10 str=`echo $line | awk '{print $2}'` 11 #获取本机考试id：$line的文件数量 12 strnum=`echo $line | awk '{print $1}'` 13 ## 创建目录，把该考试目录下的文件拷回去 14 mkdir ${str} 15 mv ${str}_* -t ${str}/ 16 17 ## 拿目录第一个文件，看更新时间（全扫描会很慢） 18 file=`ls ${str}/ | head -n1` 19 20 ssh -n -p远程机器端口 root@远程机器ip "stat 远程挂载oss的bucket/${line}/${file}" > result 21 ##获取文件更新时间 22 mt=`cat result | grep "最近更改" |awk '{print $1}'` 23 echo $line $mt >> /tmp/result_1118 24 25 ## 有关键字，则备份到本地指定目录 26 result1=$(echo $mt | grep "${keyword1}") 27 result2=$(echo $mt | grep "${keyword2}") 28 29 # 有关键字（2018年） 30 if [ "$result1" != "" ]; 31 then 32 mv 考试文件目录/$line 备份目录/2018/ 33 #统计文件数 34 remotenum=`ssh -n -p远程机器端口 root@远程机器ip "ls 远程挂载oss的bucket/${line}* |wc -l"` 35 if [ "${remotenum}" == "${strnum}" ]; then 36 echo "行数为: ${remotenum}" >> /tmp/result_1118 37 fi 38 39 # 有关键字（2019年） 40 elif [ "$result2" != "" ]; 41 then 42 mv 考试文件目录/$line 备份目录/2019/ 43 remotenum=`ssh -n -p远程机器端口 root@远程机器ip "ls 远程挂载oss的bucket/${line}* |wc -l"` 44 if [ "${remotenum}" == "${strnum}" ]; then 45 echo "行数为: ${remotenum}" >> /tmp/result_1118 46 fi 47 else 48 continue 49 fi 50 echo "" >> /tmp/result_1118 51 done
远程删除我有点怕，明天要再多测试下：
ssh -p远程机器端口 root@远程机器ip ' rm -rf 远程挂载oss的bucket/考试id* '
问题记录：
ssh -n -p远程机器端口 root@远程机器ip "stat 远程挂载oss的bucket/${line}/${file}" > result
这个ssh 要加“-n” 参数，不然远程服务器之后，只能执行一条记录（就是读取预处理文件第一行数据）
不能用变量去接收运行结果，要用文件去接收，不然格式乱了后，不好筛选文件更新时间
