linux删除文件的前n行

需求描述:

　　今天看了一个系统的临时文件,有5.6G的大小,这个文件也没有用了,想要将大部分的文件都删除掉.

　　在此记录下删除的过程.删除前n行的记录.

操作过程:

对于数据量比较大的情况(本例5800万行)

1.通过tail命令,将文件尾部的n行数据重定向到新的文件中

tail -n 30000 out.tmp > out.tmp.bak

2.然后删除旧的文件,将新的文件修改为原名字

rm out.tmp
mv out.tmp.bak out.tmp

备注:这样的话文件out.tmp尾部的30000行就保存下来,之前的行就删除掉了.在我的测试环境中,out.tmp中的记录大概5800万+

 

对于数据比较少的情况

1.查看文件中数据,确定要删除的数据

将第5行后面的都删除掉,也是通过-n来重定向

2.tail -n +k来实现该功能

[root@testvm01 ~]# wc -l install.log
249 install.log
[root@testvm01 ~]# tail -n +5 install.log > install.log.tmp  #将第5行之后的内容重定向到另外一个临时文件中
[root@testvm01 ~]# rm -f install.log
[root@testvm01 ~]# mv install.log.tmp install.log
[root@testvm01 ~]# head install.log                          #第5行之前的都已经不在了,采用了另外的方法实现了删除的功能.
Installing tzdata-2014g-1.el6.noarch
Installing basesystem-10.0-4.el6.noarch
Installing ncurses-base-5.7-3.20090208.el6.x86_64
Installing glibc-common-2.12-1.149.el6.x86_64
Installing nss-softokn-freebl-3.14.3-17.el6.x86_64
Installing glibc-2.12-1.149.el6.x86_64
Installing ncurses-libs-5.7-3.20090208.el6.x86_64
Installing bash-4.1.2-29.el6.x86_64
Installing libattr-2.4.44-7.el6.x86_64
Installing libcap-2.16-5.5.el6.x86_64
[root@testvm01 ~]# wc -l install.log
245 install.log

小结:同样可以利用head命令来删除文件的尾部的n行.

 

在数据挖掘中我们经常会增量更新训练日志，需要删除前n行的过期数据，直接用sed命令比较慢：
tail -n +3 old_file > new_file
mv new_file old_file
这样就删除了前2行，速度要比sed命令快