怎样简单高效删除历史数据，只保留最新30天的数据

背景：有实时产生的数据按小时分文件保存，如“/data/2013/09/18/14.txt”。现需要保留30天的最新数据，而删除所有其它的历史数据。注意“保留30天的最新数据”，可能不是连续的30天，中间若某一天数据缺失，也必须把最新的30天的数据保留下来。

思路：获取所有数据路径列表，去除最新30天的数据路径，然后遍历删除。若是使用脚本语言来开发（如php，python），循环获取路径列表的代码就已经比较臃肿了，效率也不高，特别是文件目录特多的时候。使用shell应该更方便和高效

rm -rf `find /data/*/*/*/ -type d|awk '{a[NR]=$0}END{n=asort(a,sa)-30;for(i=1;i<=n;i++){print sa[i]}}'`

 

 

词命令还存在一个隐患，rm的参数字符长度可能超过1024的限制，修改如下

find /data/*/*/*/ -type d|awk '{a[NR]=$0}END{n=asort(a,sa)-30;for(i=1;i<=n;i++){print sa[i]}}'|xargs -I{} rm -rf {}

 

 

这个命令里使用了find，效率还是有些不满意，使劲的寻找更高效获取路径列表的方式。哈哈，黄天不负苦心人啊，终于找到一个

echo /data/*/*/*/|awk '{for(i=1;i<=NF;i++){a[i ]=$i}}END{n=asort(a,sa)-30;for(i=1;i<=n;i++){print sa[i ]}}'|xargs -I{} rm -rf {}

 

 

使用time命令测试运行速度，第二条命令和第三条命令其运行时间分别是0.007s和0.002s，后者快了3倍

但郁闷的是，我不知道“echo /data/*/*/*/“到底是怎么个原理，有什么限制等等，网上也还没有搜索到相关资料，有知道的朋友请告知一下啊