ggrep让多行日志-无处遁形!

相信大家都很喜欢用grep指令,查一下项目中有没有出错的,然后通过logid搜索相关出错的日志和一些关键参数,但是在多行日志的情况下就很难处理了,比如okhttp拦截器中分别打印了url,param和response,然后你想统计一下有多少成功的,有多少失败的,发现就比较难了。

解决这个问题的方法,大多数选择在打印日志的时候做处理,把所需要的日志打印到一个行上,但是可能body中的json有换行,或合并后的日志过长,对阅读性增加了更多挑战。能解决但不优雅!今天给大家推荐一个新的方法,ggrep指令!

ggrep是group grep的缩写,意思是将数据分组匹配。然后可以通过多个表达式匹配指定的日志数据,使用这个指令,你的日志中需要有logid之类的唯一请求标识,可以通过--group或标准匹配参数--smart-logid进行分组日志。

ggrep指令安装:
gitee:

/bin/bash -c "$(curl -fsSL https://gitee.com/bobby96333/ggrep/raw/main/install.sh)"

or github

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/lingdor/ggrep/HEAD/install.sh)"

or 源码安装

git clone https://github.com/lingdor/ggrep.git
go build ./
sudo cp ggrep /usr/local/bin/

CASE1: 对okhttp的多行数据url,param和response过滤输出:

ggrep --smart-logid --grep 'OkHttpUtil print: --> POST' --grep 'OkHttpUtil print: {' --grep 'OkHttpUtil print: {"return_code' --orderly-match --color always *.info |head

CASE2 对多行日志进行并行,然后可以通过awk,grep,wc等脚本进行二次处理

ggrep --smart-logid --grep 'OkHttpUtil print: --> POST' --grep 'OkHttpUtil print: {' --grep 'OkHttpUtil print: {"return_code' --orderly-match --merge-lines --color always *.info |head

CASE3 将整组数据打印:

ggrep --smart-logid -grep 'OkHttpUtil print: --> POST' --print-group *.info |head -n 100

CASE4 并行处理

ggrep --smart-logid --grep 'LOG1' --grep 'LOG2' --full-match --parallel-count 0 --color always ./demo/demo.log

CASE5 多条件and匹配

ggrep --smart-logid --grep 'LOG1' --grep 'LOG2' --full-match --color always ./demo/demo.log

输入:

20240119 LogId[111] LOG1
20240119 LogId[111] LOG2
20240119 LogId[111] LOG3
20240119 LogId[111] LOG2
50240119 LogId[222] LOG1

输出:

20240119 LogId[111] LOG1
20240119 LogId[111] LOG2

ggrep指令参数解读

--group 可以通过这个参数,正则匹配对日志进行分组处理。
--smart-logid  ggrep通过logid标识,通俗匹配了大概日志格式,比如LOGID[123],logid: abc123之类,可以简短参数实现日志分组。
--grep  和grep指令一样,正则匹配内容,正则依据egrep标准,可以实现最简短的匹配指令,高效输出。(这个参数可以重复)
--M --merge-lines. 合并匹配的行
--orderly-match -O 通过输入的--grep参数,顺序匹配,顺序和输入--grep参数不一致则不匹配
--full-match.  --grep全部匹配,则匹配成功
--print-group   可以通过主个参数,将整组日志打印,在前期问题诊断时非常有用。比如: ggrep --smart-logid --grep '某接口入参' --print-group 
--color 目前只支持always参数,可以强制搞量匹配内容
--parallel-count 是并行数,如果给零,则按cpu核数,创建并发。不指定默为1,不开启并发。

posted @ 2024-01-26 09:27  阿旭^_^  阅读(234)  评论(0编辑  收藏  举报