轻松掌握 Linux 文本处理三剑客：grep、awk 和 sed 实战演练

 

Shell 脚本语言编程有哪些优势呢？

Shell 脚本语言的优势在于能够以最轻量级最快捷的速度处理 Linux 操作系统偏底层的业务。比如软件的自动化安装、更新版本，监控报警，日志分析等。虽然其他高级编程语言如 PHP、Python、Ruby 等语言也能做到，但是效率和开发成本上会大打折扣，所谓“杀鸡用牛刀”，有点得不偿失。

成熟的技术人会摒弃华而不实的方法，而会根据不同的场景选择最合适的工具去解决问题，朴实而高效。比如本文着重介绍的 Linux 三剑客：grep、awk 和 sed 就是 Linux 文本处理问题的最高效工具。

下面，我们将依次介绍 Linux 文本处理三剑客的基础语法，使用场景和特性，以及给出对应的实战演练题目。

Shell 编程环境安装

  • Windows 用户，建议安装 Git Bash 软件。
  • Mac 用户，建议安装 iterm2 软件。
  • ssh 工具

Linux 三剑客介绍

 

 

  • grep：主要用于文本内容查找，支持正则表达式。
  • awk：主要用于文本内容的分析处理，也常用于处理数据，生成报告，非常适用于需要按列处理的数据。（现在很多Linux使用gawk）
  • sed：全称为 Stream editor ，主要用于文本内容的编辑，默认只处理模式空间，不改变原数据，而且 sed 使用逐行读取的方式处理数据。

 

 

grep 常用的参数如下：
  • -A<行数 x>：除了显示符合范本样式的那一列之外，并显示该行之后的 x 行内容。
  • -B<行数 x>：除了显示符合样式的那一行之外，并显示该行之前的 x 行内容。
  • -C<行数 x>：除了显示符合样式的那一行之外，并显示该行之前后的 x 行内容。
  • -c：统计匹配的行数
  • -e ：实现多个选项间的逻辑or 关系
  • -E：扩展的正则表达式
  • -f 文件名：从文件获取 PATTERN 匹配
  • -F ：相当于fgrep
  • -i --ignore-case #忽略字符大小写的差别。
  • -n：显示匹配的行号
  • -o：仅显示匹配到的字符串
  • -q：静默模式，不输出任何信息
  • -s：不显示错误信息。
  • -v：显示不被 pattern 匹配到的行，相当于[^] 反向匹配
  • -w ：匹配 整个单词
前三个 A、B、C 参数很容易理解，举个栗子，假设我们有一个文件，文件名是 test，内容是从 1 到 9，每个数字一行：

 

-A2 7 的效果就是找到 7 ，然后输出 7 后面两行。
同理，-B2 7和-C2 7就是找到 7 ，然后分别输出 7 前面两行和前后两行：

 

继续，假设我们有个名叫 test 的文件内容如下：

 

grep -c命令的作用就是输出匹配到的行数，比如我们想找包含aaa的有几行，一眼就能看出来有两行，第一行和第三行都包含：
grep -e命令是实现多个匹配之间的或关系，比如我们想找包含aaaa或者bbbb的，显然应该返回第一行和第二行：

 

grep -F相当于fgrep命令，就是将pattern视为固定字符串。比如搜索'aa*'不带-F和带上，区别如下：

 

可以看到第二次就找不到了，因为搜索的是 aa*这个字符串，而不是正则表达式。grep -f 文件名的使用方法是把后面这个文件里的内容当做pattern。比如我们有个文件，名字是 grep.txt，然后内容是aa*，使用方法如下：
实际上等同于grep 'aa*' testgrep -i --ignore-case作用是忽略大小写。grep -n显示匹配的行号，就是多显示了个行号，不用细说。grep -o仅显示匹配到的字符串，还是用刚才的aa*距离，之前显示的都是匹配到的字符所在的整行，这个命令是只显示匹配到的字符：
grep -q不打印匹配结果。刚看到这个我疑惑了半天，让你搜索字符串，你不给我结果那有啥用？然后发现还有一条很多教程没说：如果有匹配的内容则立即返回状态值 0。所以一般用在shell脚本中，在 if 判断里面。grep -s不显示错误信息，不解释。grep -v显示不被匹配到的行，相当于[^]反向匹配，最常见的还是用在查找线程的命令里，有时候会打印grep线程，可以再加上这么一个去除自己：

  1. ➜ ps -ef|grep Typora

  2. 501 91616 1 0 五11上午 ?? 13:39.32 /Applications/Typora.app/Contents/MacOS/Typora

  3. 501 14814 93748 0 5:33下午 ttys002 0:00.00 grep --color=auto --exclude-dir=.bzr --exclude-dir=CVS --exclude-dir=.git --exclude-dir=.hg --exclude-dir=.svn Typora

  4.  

  5. ➜ ps -ef|grep Typora|grep -v grep

  6. 501 91616 1 0 五11上午 ?? 13:39.32 /Applications/Typora.app/Contents/MacOS/Typora


可以看到第二次就没有打印grep线程自身grep -w匹配整个单词，只有完全符合pattern的单次才会匹配到：
可以看到第二次结果为空，因为没有aaa这个单词。

 

 

grep 实战演练题目

  • 找出 nginx.log 中所有 404 和 503 报错的 log 数据

$grep -E ' 404 | 500 ' nginx.log | wc -l

$awk '$9~/404|500/' nginx.log | wc -l

 

 

 

awk
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
语法

 

参数说明：
  • -F fs or --field-separator fs 指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
  • -v var=value or --asign var=value 赋值一个用户定义变量。
  • -f scripfile or --file scriptfile 从脚本文件中读取awk命令。
基本用法
最基本的用法是awk 动作 文件名。我们先准备一个文件test：

 

然后输入awk '{print $1,$4}' test就可以看到：
对比可以很清楚的发现，这行语句的作用是打印每行的第一个和第四个单词。这里如果是$0的话就是把整行都输出出来。awk- -F命令以指定使用哪个分隔符，默认是空格或者 tab 键：
可以看出只有最后一行有输出，因为用逗号做分割，之后最后一行被分成了10 There are orange、apple和mongo三项，然后我们要的是第二项。
还可以同时使用多个分隔符：

 

这个例子便是使用空格和逗号两个分隔符。
匹配项中可以用正则表达式，比如：

 

可以看出都是每行的最后一项。
其他的内置变量还有：
  • FILENAME：当前文件名
  • FS：字段分隔符，默认是空格和制表符。
  • RS：行分隔符，用于分割每一行，默认是换行符。
  • OFS：输出字段的分隔符，用于打印时分隔字段，默认为空格。
  • ORS：输出记录的分隔符，用于打印时分隔记录，默认为换行符。
  • OFMT：数字输出的格式，默认为％.6g。
函数
awk还提供了一些内置函数，方便对原始数据的处理。主要如下：
  • toupper()：字符转为大写。
  • tolower()：字符转为小写。
  • length()：返回字符串长度。
  • substr()：返回子字符串。
  • sin()：正弦。
  • cos()：余弦。
  • sqrt()：平方根。
  • rand()：随机数。
条件
awk允许指定输出条件，只输出符合条件的行。输出条件要写在动作的前面：

 

 

sed

pattern表达式

  • 20 30,35 行数与行数范围
  • /pattern/ 正则匹配
  • //,// 正则匹配的区间


action

  • d 删除
  • p 打印，通畅结合-n参数
  • s/REGEXP/REPLACEMENT/[FLAGS]
  • 替换时引用 \1 \2 匹配的字段

sed

sed 命令的作用是利用脚本来处理文本文件。使用方法：
参数说明：
  • -e<script>或--expression=<script> 以选项中指定的 script 来处理输入的文本文件，这个-e可以省略，直接写表达式。
  • -f<script文件>或--file=<script文件>以选项中指定的 script 文件来处理输入的文本文件。
  • -h或--help显示帮助。
  • -n 或 --quiet 或 --silent 仅显示 script 处理后的结果。
  • -V 或 --version 显示版本信息。
动作说明：
  • a：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
  • c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
  • d：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
  • i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
  • p：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
  • s：取代，通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g 。
我们先准备一个文件，名为test做测试，内容如下：

 

增加内容

使用命令sed -e 3a\newLine testfile这个命令的意思就是，在第三行后面追加newLine这么一行字符，字符前面要用反斜线作区分。执行完毕之后可以看到结果：

 

但是注意，这个只是将文字处理了，没有写入到文件里，文件里还是之前的内容。
其实 a 前面是可以匹配字符串，比如我们只想在出现 Linux 的行后面追加，就可以：sed -e /Linux/a\newline test 两个斜线之间的内容是需要匹配的内容。可以看出，只有第二、第四行有Linux，所以结果如下：

 

这里用双引号把整个表达式括起来也可以，还方便处理带空格的字符。
sed -e /Linux/a\newline test等效于sed "/Linux/a newline" test
插入内容
跟 a 类似，sed 3i\newline test是在第三行前面插入newline:

 

sed /Linux/i\newline test是在所有匹配到Linux的行前面插入：

 

可以看出插入的用法和增加很相似。

删除

删除的字符是d，用法跟前面也很相似，就不赘述，例子如下：

 

可以看到删除了匹配到的两行。

替换

替换也是一样，字符是c。举个栗子：

 

替换还有个字符是 s，但是用法由不太一样了，最常见的用法：sed 's/old/new/g'其中old代表想要匹配的字符，new是想要替换的字符，比如：

 

这里的/g的意思是一行中的每一次匹配，因为一行中可能匹配到很多次。我们拿一个新的文本文件做例子：

 

假设我们想把一行中的第三次及以后出现的a变成大写A，那应该这么写：
可以看出只有第一行的有的改了，因为第二第三行没有这么多a出现。
关于s还有很多用法，还是回到第一个文件，比如可以用/^/和/$/分别代表行首和行尾：

 

这个其实就是正则表达式的语法，其他类似语法还有：
  • ^ 表示一行的开头。如：/^#/ 以#开头的匹配。
  • $ 表示一行的结尾。如：/}$/ 以}结尾的匹配。
  • \< 表示词首。如：`\ 表示以 abc 为首的詞。
  • \> 表示词尾。如：abc\> 表示以 abc 結尾的詞。
  • . 表示任何单个字符。
  • * 表示某个字符出现了0次或多次。
  • [ ] 字符集合。如：[abc] 表示匹配a或b或c，还有 [a-zA-Z] 表示匹配所有的26个字符。如果其中有^表示反，如 [^a] 表示非a的字符
以上的所有用法，还可以在字符前面增加行号或者匹配。什么意思呐？比如你想在第一和第二行后面增加一行内容newline，就是：

 

其他操作同理。不止可以用数字来限定范围，还可以用匹配来限定，只需要用//括起来：

 

这里的意思是，从匹配到LINUX的那一行，到匹配到linux的那一行，也就是 123 这三行
，都做插入操作。

多个匹配

用-e命令可以执行多次匹配，相当于顺序依次执行两个sed命令：

 

这个命令其实就是先把Linux替换成Windows，再把Windows替换成Mac OS。
写入文件
上面介绍的所有文件操作都支持在缓存中处理然后打印到控制台，实际上没有对文件修改。想要保存到原文件的话可以用> file或者-i来保存到文件

 

posted @ 2024-02-20 11:30  BUGMANWL  阅读(182)  评论(0)  编辑  收藏  举报