日志分析-利用grep,awk等文本处理工具完成(2019-4-9)
0x00 基础日志分析命令
1. tail - 监控末尾日志的变化
$tail -n 10 error2019.log #显示最后10行日志内容
$tail -n +5 nginx2019.log #从第5行开始显示日志内容
$tail -f nginx.log #循环查看日志内容(循环读取日志文件)
$tail -10f nginx.log #监控末尾10行日志变化
2. grep(Global Regular Expression Print,全局正则表达式) - 搜索与日志提取
grep -n 'likely' out.log > test.txt #匹配存在likely字段的行,并保存至test.txt
grep -c 'error' nginx.log #输出日志当中包含‘error’行的行数
grep -v 'error' nginx.log #输出日志当中不包含‘error’行的行数
cat nginx.log | grep -f words.txt #利用words里面的字段在nginx.log中进行匹配
更多其他的命令可以看看下面这个网图:
3.AWK(三个创始人的名字首字母) - 文本文件处理语言
$ awk 动作 文件名 #使用格式
$ awk '{print $1}' error.txt #示例
$ awk -F '|' ‘{print $1}’ error.txt #通过F参数指定‘|’为分隔符,并打印出日志里面的第一个字段。
$ echo 'hack is freedom' | awk '{print $(NF-1),$NF}' #输出倒数第二个字段与最后一个字段。is freedom
$ awk -F '(' '{print NR ")",$1}' pingtest.log #通过NR来打印行数,并通过双引号来输出原样字符。
$ awk -F '(' 'NR % 2 ==1 {print NR,")",$1}' pingtest.log #通过NR运算输出奇数行日志
$ awk -F '(' 'NR > 200 {print NR,")",$1}' pingtest.log #输出第200行之后的日志