linux 定时删除文件夹的的内容 (find && crontab 使用)
Jenkins 跑的回归结果太多,清理不及时,老是爆盘。
可以通过shell 脚本写一个清理的小程序,然后通过 crontab -e 来设置程序自动运行时间
1 因为我要删除的是整个文件夹,所以,shell 内容如下:
!/bin/sh
find /project/project_name/run/ -maxdepth 1 -type d -mtime +1 |xargs rm -rf
如果想要删除某些问价而不是文件夹,内容如下:
find /project/project_name/run/ -type f -mtime +1 -name "*" -exec rm -rf {} ;
2 此时运行shell 脚本只是可以清理文件,如何让它定时运行:Linux terminal 下:
crontab -e // crontab:定时任务的守护进程,精确到分
40 18 * * * sh /shell_dir // 40 40分钟, 18 表示18:00, 这句话意思是每天18:40运行shell 脚本
以下是对于find 和crontab 的解释
find 转载自 https://www.cnblogs.com/johnnyliu/archive/2013/04/09/3010384.html
linux中的find的命令查找文件的重要方式,辅以其他的bash命令可以实现强大的操作效果。
先看看放find命令的基本组成:
find pathname -option [-print -exec -ok ...]
分类记忆各项属性参数~
pathname:指定find命令的查询根路径,例如 ‘ / ’,‘./ ' 等。
同时还可在-path参数中指定搜索路径。
-option:
1、文件操作:
-name 用引号” “将查询的文件名括起来,可适用于简单的正则表达式(应改为shell的元字符,下同)。
-type 指定查找文件的类型
b - 块设备文件。
d - 目录。
c - 字符设备文件。
p - 管道文件。
l - 符号链接文件。
f - 普通文件。
-size n 指定文件大小,若数字前+表示大于,-表示小于;常用单位c(字节),k(KB),M(MB)
2、用户权限:
-perm 用户权限permission,用常用的三位数字,如644表示权限。若数字前+表示至少包括指定的一种访问权限,-表示必须包括指定的所有访问权限
-user / -nouser 按文件属主查询 / 查找无有效属主的文件
-group / -nogroup 按文件所属租来查 / 查找无有效所属租的文件
3、时间选项:
-atime / -amin n 最近访问(accessed)过的文件,前者表示单位是天(24h),后者单位是分钟(minute);若数字前+表示n段时间前,-表示最近n段时间。后同。
-ctime / -cmin n 最近状态改变(changed)过的文件
-mtime / -mmin n 最近内容修改(modified)过的文件
-newer file!otherfile 查找更改时间比file新的文件,加上非(!)则查找比otherfile旧的文件
(注意,逻辑符号包括!(not)、-a(and)、-o(or),在命令中都是短路求值,简单讲就是若后面的参数不影响逻辑判断,则不对后面求值。在find命令中一般在选项之前添加逻辑符号)
4、文件路径:
-follow 遇到符号链接文件,就跟踪到链接指向的文件
-mount 不跨越文件系统的mount点,即在当前的文件系统查询,不进入其他文件系统(如挂载的windows系统)
-path 给出文件路径,可在路径中查询,满足简单正则表达式(元字符)。例如查找当前路径中' ./var/www '子目录中的’ index.html ’ 文件:
$ find . -path './var/www*' -name 'index.html' -print
./var/www/learn/study_smarty/templates/index.tpl
./var/www/learn/study_smarty/docs/index.php
./var/www/learn/index.php
./var/www/index.html
(结果中可以看到,-path选项中的参数要为模糊的查询条件,我理解的-path选项查找出的文件名实际上是带路径的字符串,而-path中则是满足结果字符串中的前面的路径字符。)
-prune 指出要忽略的目录。 结合-path选项,例如在当前目录下查找‘ index.html ’文件,同时忽略路径下的‘ /www/bin ’目录:
$ find . -path './www/bin' -prune -o -name 'index.html' -print
-path “./www/bin” -prune -o -name 'index.html' -print 是 -path “./www/bin” -a -prune -o -name 'index.html' -print 的简写表达式。按顺序求值,-a 和 -o 都是短路求值,与 shell 的 && 和 || 类似如果 -path “./www/bin” 为真,则求值 -prune , -prune 返回真,“与”逻辑表达式为真;否则不求值 -prune,与逻辑表达式为假。如果 -path “/usr/sam” -a -prune 为假,则求值 -name。-name返回真,“或”逻辑表达式为真;否则不求值 -name,“或”逻辑表达式为真。
(因此,其他的查询条件必须放在-o之后!而-path选项一般放在最前,-prune和-o也要连用)
避开多个文件可以用:
$ find /usr (-path /usr/dir1 -o -path /usr/dir2 ) -prune -o -name "index.html" -print
‘ (’ 与 ‘ ) ’ 表示转义,及shell不再对括号做特殊解释,这里转义后的括号表示结合。
(注意,路径后不能在加 ‘/’ 号!)
-depth 先匹配所有的文件,再在子目录中查找。即广度遍历查询。注意加上-depth选项后,-prune选项失效。
-maxdepth n 设定递归搜索的目录层级,1为在当前目录下,即不递归搜索。
5、查询执行:
-exec command {} ; 对查询的结果文件执行command 命令,{}中就包含着查询结果。
-ok command {} ; 与-exec有着相同的操作,不同的是,在执行command命令时会有交互提示你是否执行,是一种相对安全的做法。
在使用find命令的-exec选项处理匹配到的文件时, find命令将所有匹配到的文件一起传递给exec执行。但有些系统对能够传递给exec的命令长度有限制,这样在find命令运行几分钟之后,就会出现溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。在有些系统中,使用-exec选项会为处理每一个匹配到的文件而发起一个相应的进程,并非将匹配到的文件全部作为参数一次执行;这样在有些情况下就会出现进程过多,系统性能下降的问题,因而效率不高。转
xargs 与pipe连用,对匹配的文件执行操作。
find命令把匹配到的文件传递给xargs命令,而xargs命令每次只获取一部分文件而不是全部,不像-exec选项那样。这样它可以先处理最先获取的一部分文件,然后是下一批,并如此继续下去。使用xargs命令则只有一个进程。转
例如,在当前路径下的普通文件中搜索‘ admin ’:
$ find . -type f -print | xargs grep 'admin'
对于一个参数的命令,xargs隐含传递匹配文件,如上述grep files,将结果隐含传递给files。如是多参数命令,如cp file dir,则要利用xargs的 -i 选项,例如将上述查询的问价copy至‘ /usr ’:
$ find . -type f -print | xargs -i cp {} /usr/
加上 -i 选项后,xargs将匹配的结果传递给 {} ,这样就方便多参数命令的使用了。
对于crontab 的解释: 转载自https://www.cnblogs.com/ftl1012/p/crontab.html
usage: crontab [-u user] file
crontab [-u user] [ -e | -l | -r ]
(default operation is replace, per 1003.2)
-e (edit user's crontab)
-l (list user's crontab)
-r (delete user's crontab)
-i (prompt before deleting user's crontab)
-s (s定时任务分类
Linux下的任务调度分为两类,系统任务调度和用户任务调度。
系统任务调度:系统周期性所要执行的工作,比如写缓存数据到硬盘、日志清理等。
在/etc/crontab文件,这个就是系统任务调度的配置文件。
用户任务调度:用户定期要执行的工作,比如用户数据备份、定时邮件提醒等。
用户可以使用 crontab 工具来定制自己的计划任务。
在crontab 文件都被保存在/var/spool/cron目录中。其文件名与用户名一致
1.系统定时任务:例如清理系统日志,清理系统缓存 -->不过多的关注
查询系统定时处理任务的路径:
路径1:
cd /etc/logrotate.d/ -->可以写定时任务
less syslog
路径2:
cat /etc/crontab -->不推荐使用,但是可以看格式
路径3:
ls /etc/ | grep cron*
anacrontab
cron.d -->同路径2 ,可以写定时任务
cron.daily
cron.deny -->控制普通用户使用定时任务crontab
cron.hourly
cron.monthly
crontab
cron.weekly
2.用户的定时任务 -->关注重点
crontab文件内容分析
cat /etc/crontabelinux context)
星号(*):代表所有可能的值,如month字段为星号,则表示在满足其它字段的制约条件后每月都执行该命令操作。
逗号(,):可以用逗号隔开的值指定一个列表范围,例如,“1,2,5,7,8,9”
中杠(-):可以用整数之间的中杠表示一个整数范围,例如“2-6”表示“2,3,4,5,6”
正斜线(/):可以用正斜线指定时间的间隔频率,例如“0-23/2”表示每两小时执行一次。
小 结:
数字的表示最好用2为阿拉伯数字显示
周和日最好不要同时用
定时任务要加注解
可以定向到日志文件或者空文件
定时任务一定是绝对路径,且目录必须存在才能出结果
crontab 服务一定要开启运行
crontab日志路径
【日志是按照天排列的】
ll /var/log/cron*
/var/log/cron只会记录是否执行了某些计划的脚本,但是具体执行是否正确以及脚本执行过程中的一些信息则linux会每次都发邮件到该用户下。
常用的命令展示
安装crontab:
1
yum install crontabs
crontab服务操作说明:
1
2
3
4
5
6
7
/sbin/service crond start //启动服务
/sbin/service crond stop //关闭服务
/sbin/service crond restart //重启服务
/sbin/service crond reload //重新载入配置
查看crontab服务状态:
1
service crond status
手动启动crontab服务:
1
service crond status
查看crontab服务是否已设置为开机启动,执行命令:
1
2
方法一: 界面启动 ntsysv
方法二: 加入开机自动启动: chkconfig –level 35 crond on
crontab -l查看定时任务列表
编辑定时任务
1
crontab –e
1
==》vim /var/spool/cron/root
每隔2分钟输出时间到文件
1
*/2 * * * * echo date
>> $HOME>test.txt
crontab -r 删除定时任务
1
2
3
==> 从/var/spool/cron目录中删除用户的crontab文件
==> 如果不指定用户,则默认删除当前用户的crontab文件
crontab –i 在删除用户的crontab文件时给确认提示
备份crontab文件
1
crontab -l > $HOME/mycron
恢复丢失的crontab文件
1
2
3
如果不小心误删了crontab文件,假设你在自己的$ H O M E目录下还有一个备份,那么可以将其拷贝到/var/spool/cron/
crontab
有些crontab的变体有些怪异,所以在使用crontab命令时要格外小心。如果遗漏了任何选项,crontab可能会打开一个空文件,或者看起来像是个空文件。这时敲delete键退出,不要按
每小时执行/etc/cron.hourly目录内的脚本
0 * * * * root run-parts /etc/cron.hourly
每隔2分钟同步一次互联网时间
echo "*/2 * * * * /usr/bin/ntpstat time.windows.com >/dev/null 2>&1" >> /var/spool/cron/root
每天3-5,17-20每隔30分钟执行一次脚本
echo "*/30 [3-5],[17-20] * * * /bin/sh /home/omc/h.sh >/dev/null 2>&1" >> /var/spool/cron/root
当天23点,第二天0点到凌晨7点 每隔1分钟执行一次脚本
- 23,00-07/1 * * * /bin/sh /home/omc.h.sh
每年的4月份每周的周一到周三的11点执行脚本
00 11 * 4 1-3 /bin/sh /home/omc/h.sh
crontab的注意事项
- 注意环境变量问题
在crontab文件中定义多个调度任务时,需要特别注意的一个问题就是环境变量的设置
脚本中涉及文件路径时写全局路径;
脚本执行要用到java或其他环境变量时,通过source命令引入环境变量,如:
cat start_cbp.sh
!/bin/sh
source /etc/profile
export RUN_CONF=/home/d139/conf/platform/cbp/cbp_jboss.conf
/usr/local/jboss-4.0.5/bin/run.sh -c mev &
当手动执行脚本OK,但是crontab死活不执行时。可以尝试在crontab中直接引入环境变量解决问题。
0 * * * * . /etc/profile;/bin/sh /var/www/java/audit_no_count/bin/restart_audit.sh
2. 系统级任务调度与用户级任务调度
root用户的任务调度操作可以通过“crontab –uroot –e”来设置,也可以将调度任务直接写入/etc/crontab文件,需要注意的是,如果要定义一个定时重启系统的任务,就必须将任务放到/etc/crontab文件,即使在root用户下创建一个定时重启系统的任务也是无效的。
3.其他注意事项
当crontab突然失效时,可以尝试/etc/init.d/crond restart解决问题。或者查看日志看某个job有没有执行/报错tail -f /var/log/cron。
千万别乱运行crontab -r。它从Crontab目录(/var/spool/cron)中删除用户的Crontab文件。删除了该用户的所有crontab都没了。
在crontab中%是有特殊含义的,表示换行的意思。如果要用的话必须进行转义%,如经常用的date ‘+%Y%m%d’在crontab里是不会执行的,应该换成date ‘+%Y%m%d’
4. 生产调试定时任务
1.增加执行任务的频率调试
2.调整系统时间调试任务,提前5分钟 -->不用于生产环境
3.通过脚本日志输出调试定时 任务
4.注意一些任务命令带来的问题 -->确保命令的正确性
5.crontab箴言
1.环境变量问题,例如crontab不能识别Java的环境变量
crontab执行shell时,只能识别为数不多的环境变量,普通的环境变量是无法识别的,所以在编写shell时,最好使用export重新声明变量,确保脚本执行。
2.命令的执行最好用脚本
3.脚本权限加/bin/sh,规范路径/server/scripts
4.时间变量用反斜线转义,最好用脚本
5.定时任务添加注释
6.>/dev/null 2>&1 ==>&>/dev/null,别随意打印日志文件
7.定时任务里面的程序脚本尽量用全路径
8.避免不必要的程序以及命令输出
9.定时任务之前添加注释
10.打包到文件目录的上一级