linux大文件读取和切割

在生产环境中有时候可能会遇到大文件的读取问题，但是大文件读取如果按照一般的手法。如cat这种都是对io的一个挑战，如果io扛得住还好，如果扛不住

造成的后果，如服务器内存奔溃，日志损坏

 

方法一：

　　　　sed

　　　　

例子:
    按照你自己的日志格式
     sed -n '/14\/Mar\/2015:21/,/14\/Mar\/2015:22/p' access.log >/home/test/test.log
　　　sed -n "1,1000p" access.log >/home/test/test.log
     

新生成的test.log就是那个时间段的

方法二：

            linux split命令

split -l 1000000 access.log -d -a 10 acclog_

　　

 

方法三：

　　　　类似python的第三方工具

word='abc'
with open('test.txt','r',encoding='utf-8') as f:   #test.txt为你的源文件
    with open('test2.txt','w',encoding='utf-8') as f2:   #test2.txt为你新生成的包含关键字的文件
        for line in f:
            if word in line:
                f2.write(line)
这里地word就是对关键字的过滤，你可以改成时间段