grep结合awk简单用法
一、grep简介:
grep (缩写来自Globally search a Regular Expression and Print)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep
表达符集
![](https://images2017.cnblogs.com/blog/952565/201708/952565-20170824161622683-258348922.png)
列出个别使用频发的选项
1、-v 显示不包含匹配文本的所有行
过滤掉文件中aaa的行数
2、-l 输出匹配的文件名
-l 查询多文件时只输出包含匹配字符的文件名,而不输出文本行。
1 2 3 | $grep -l "lcj" * datafile |
3、-i 忽略大小写
-i 关闭大小写敏感性。
示例,查找含有“lcj”这三个字符的行,并且不区分大小写:
1 2 3 4 5 6 7 8 9 10 11 | [root @lcj lcj]# cat aa.txt aaaa BBBB cccc DDDD eeee EEEE [root @lcj lcj]# grep bb aa.txt [root @lcj lcj]# grep -i bb aa.txt BBBB [root @lcj lcj]# |
4、-n 显示匹配的行及行号
示例:查找aa.txt文件中含有“CAD”的所有行,并显示行号:
1 2 3 | [root @lcj lcj]# grep -n c aa.txt 3 :cccc [root @lcj lcj]# |
二、awk简介
![](https://images2015.cnblogs.com/blog/952565/201702/952565-20170223173553616-498514788.png)
需要截取GET后面的html数据,前提是要过滤出http 状态码为200
grep “\” 200 :过滤出http状态码为200
awk -F “GET”:指定从那列开始截取
‘{print $2}’:去除字段之间的空格进行截取【如: _"GET_ /11260464.html 】
上面截图虽然前面的字段是我们所需要的字段,可后面还有多余的数据,如下过滤后面多余的数据:
awk '{print $1}':去除第一个空格之后的所有数据
head:显示前面10条数据,方便查看数据截取结果,最后可以通过>进行重定向指定文件中
案例
增加“grep”和“awk“命令结合使用案列:
案例:需要获取GET请求 ,状态码为200,并过滤掉json和area字段的所有行
1 | [root @lcj lcj]# cat 200 .txt |grep " 200 " | awk -F "GET" '{print $2}' | awk '{print $1}' | grep -v "/js/" |grep -v area >test001.csv |
grep -v过滤字段所在行
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· 用 C# 插值字符串处理器写一个 sscanf
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· 本地部署DeepSeek后,没有好看的交互界面怎么行!
· DeepSeek 解答了困扰我五年的技术问题。时代确实变了!
· 趁着过年的时候手搓了一个低代码框架
· 推荐一个DeepSeek 大模型的免费 API 项目!兼容OpenAI接口!