文本处理三剑客

1、简介

​ awk、grep、sed是linux操作文本的三大利器，合称文本三剑客。三者的功能都是处理文本，但侧重点各不相同，其中属awk功能最强大，但也最复杂。grep更适合单纯地查找或匹配文本；sed更适合编辑匹配到的文本，awk更适合格式化文本，对文本进行较复杂格式处理。

2、grep

2.1、什么是grep和egrep

​ Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并将匹配的行打印出来（匹配到的标红）。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。

​ grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看做是文件名。搜索的结果被送到标准输出，不影响原文件内容。

​ grep可用于shell脚本，因为grep通过一个返回状态值来说明搜索的状态，如果模板搜索成功，则返回0；如果搜索不成功，则返回1；如果搜索的文件不存在，则返回2。可利用这些返回值进行一些自动化的文本处理工作。

​ egrep等同于grep -E：扩展的正则表达式（除了\<，\>，\b之外，使用其他正则都可以去掉\）

2.2、使用grep

2.2.1、命令格式

grep [option] pattern file

2.2.2、命令功能

用于过滤/搜索特定字符。可配合正则表达式来进行使用，使用上十分灵活。

2.2.3、命令参数

常用参数已加粗。

• -A<显示行数>：除了显示符合样式的那一行之外，并显示该行之后的内容。
• -B<显示行数>：除了显示符合样式的那一行之外，并显示该行之前的内容。
• -C<显示行数>：除了显示符合样式的那一行之外，并显示该行之前后的内容。
• -c：统计匹配的行数
• -e：实现多个选项间的逻辑or关系
• -E：扩展的正则表达式
• -f file：从file获取pattern匹配
• -F：相当于fgrep
• -i --ignore-case：忽略字符大小写的差别
• -n：显示匹配的行号
• -o：仅显示匹配到的字符串
• -q：静默模式，不输出任何信息
• -s：不显示错误信息
• -v：显示不被pattern匹配到的行，相当于[^]反向匹配
• -w：匹配整个单词

2.2.4、实战演示

#
[root@docker test]# cat grep.txt 
aaa
[root@docker test]# cat test
aaa
bbbbb
AAAaaa
BBBBASDABBDA
#以grep.txt中每一行为关键字，查找test文件中匹配的行
[root@docker test]# grep -f grep.txt test 
aaa
AAAaaa

3、正则表达式

3.1 分类

POSIX规范将正则表达式分为了两种

• 基本正则表达式（BRE，basic regular expression）
• 高级功能：扩展正则表达式（ERE，extended regular expression）

BRE和ERE的区别仅仅是元字符的不同

• BRE只承认的元字符有^$.[]*，其他字符识别为普通字符；
• ERE则添加了(){}?+|等
• 只用在用反斜杠“\”进行转义的情况下，字符串(){}才会在BRE被当做元字符处理，而在BRE中，任何元字符前面加上反斜杠反而会使其被当做普通字符来处理。

3.2、基本正则表达式

3.2.1、格式

字符	描述
^	^word:搜索以word开头的内容
$	word$:搜索以word结尾的内容
^$	表示空行，不是空格
.	代表且只能代表任意一个字符（不匹配空行）
\	转义字符，让有特殊含义的字符脱掉马甲，现出原形，如\.只表示小数点
*	匹配前面的字符任意次，包括0次，贪婪模式：尽可能长的匹配
.*	任意长度的任意字符，不包括0次
^.*	以任意多个字符串开头，.*尽可能多，有多少算多少，贪婪性
[^abc]	匹配不包含^后的任意字符a或b或c，是对[abc]的取反
a\	重复前面a字符至少n次，至多m次（如使用egrep或sed -r可去掉斜线）

3.2.2、演练

3.3、扩展正则表达式

3.3.1、格式

特殊字符	描述
+	重复前一个字符一次或多次
？	重复前一个字符0次或1次（.是有且只有1个）
|	表示或，查找多个字符串
()	分组过滤被括起来的东西表示一个整体（一个字符）

3.3.2、演练

3.4、基本正则和扩展正则区别

所谓基础正则，实际上就是得需要转义字符配合表达的正则，而扩展正则就是让命令扩展它的权限让其直接就认识正则表达符号

BRE	ERE
?	?
\+	+
\	{}
\(\)	()
\

3.5、补充说明

3.5.1、预定义

正则表达式	描述	示例
[:alnum:]	[a-zA-Z0-9]匹配任意一个字母或数字字符	[[:alnum:]]+
[:alpha:]	匹配任意一个字母字符（包括大小写字母）	[[:alpha:]]
[:blank:]	空格与制表符（横向纵向）	[[:blank:]]*
[:digit:]	匹配任意一个数字字符	[[:digit:]]?
[:lower:]	匹配小写字母	[[:lower:]]
[:upper:]	匹配大写字母	([[:upper:]]+)?
[:punct:]	匹配标点符号	[[:punct:]]
[:space:]	匹配一个包括换行符，回车等在内的所有空白符	[[:space:]]+
[:graph:]	匹配任何一个可以看得见的且可以打印的字符	[[:graph:]]
[:xdigit:]	任何一个十六进制数	[[:xdigit:]]+
[:cntrl:]	任何一个控制字符（ASCII字符集中的前32个字符）	[[:cntrl:]]
[:print:]	任何一个可以打印的字符	[[:print:]]

3.5.2、元字符

元字符是一种Perl风格的正则表达式，只有一部分文本处理工具支持它，并不是所有的文本处理工具都支持。

正则表达式	描述	示例
\b	单词边界	\bcool\b匹配cool，不匹配coolant
\B	非单词边界	cool\B匹配coolant不匹配cool
\d	单个数字字符	b\db匹配b2b，不匹配bcb
\D	单个非数字字符	b\Db匹配bcb不匹配b2b
\w	单个单词字符（字母，数字与_)	\w匹配1或a，不匹配&
\W	单个非单词字符	\W匹配&，不匹配1或a
\n	换行符	\n匹配一个新行
\s	单个空白字符	x\sx匹配xx，不匹配xx
\S	单个非空白字符	x\S\x匹配xkx，不匹配xx
\r	回车	\r匹配回车
\t	横向制表符	\t匹配一个横向制表符
\v	垂直制表符	\v匹配一个垂直制表符
\f	换页符	\f匹配一个换页符

4、sed

4.1、认识sed

​ sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。然后读入下一行，执行下一个循环。如果没有使用诸如“D”的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非使用重定向存储输出或-i。

​ 功能：主要用来自动编辑一个或多个文件，简化对文件的反复操作。

4.2、使用sed

4.2.1、命令格式

sed [选项] [command] 文件名

4.2.2、常用选项

• -n：不输出模式空间内容到屏幕，即不自动打印，只打印匹配到的行
• -e：多点编辑，对每行处理时，可以有多个script
• -f：把script写到文档中，在执行sed时，-f指定文件路径；如果有多个script，换行写入
• -r：支持扩展的正则表达式
• -i：直接将处理的结果写入文件
• -i.bak：在将处理的结果写入文件之前备份一份

4.2.3、地址定界

• 不给地址：对全文进行处理
• 单地址：
  • #: 指定的行
  • /pattern/：被此处模式所能够匹配到的每一行
• 地址范围：
  • #,#
  • #,+#
  • /pat1/,/pat2/
  • #,/pat1/
• ~：步进
  • sed -n '1~2p' 只打印奇数行 （1~2 从第1行，一次加2行）
  • sed -n '2~2p' 只打印偶数行

4.2.4、编辑命令

• d：删除模式空间匹配的行，并立即启用下一轮循环
• p：打印当前模式空间内容，追加到默认输出之后
• a：在指定行后面追加文本，支持使用\n实现多行追加
• i：在行前面插入文本，支持使用\n实现多行追加
• c：替换行为单行或多行文本，支持使用\n实现多行追加
• w：保存模式匹配的行至指定文件
• r：读取指定文件的文本至模式空间中匹配到的行后
• =：为模式空间中的行打印行号
• !：模式空间中匹配行取反处理
• s///：查找替换，支持使用其它分隔符，如：s@@@，s###；
  • 加g表示行内全局替换；
  • 在替换时，可以加一下命令，实现大小写转换
  • \l：把下个字符转换成小写。
  • \L：把replacement字母转换成小写，直到\U或\E出现。
  • \u：把下个字符转换成大写。
  • \U：把replacement字母转换成大写，直到\L或\E出现。
  • \E：停止以\L或\U开始的大小写转换

4.3、演练

4.3.1、常用选项options

[root@aliyun shell]# cat demo 
aaa
bbbb
AABBCCDD
[root@aliyun shell]# sed "/aaa/p" demo 		#匹配到的行会打印一遍，不匹配的行也会打印
aaa
aaa
bbbb
AABBCCDD
[root@aliyun shell]# sed -n "/aaa/p" demo 	#仅打印匹配的行，-n，不显示没匹配的行
aaa
[root@aliyun shell]# sed -e "s/a/A/" -e "s/b/B" demo 
sed：-e 表达式 #2，字符 5：未终止的“s”命令
[root@aliyun shell]# sed -e "s/a/A/" -e "s/b/B/" demo 	#-e多点编辑
Aaa
Bbbb
AABBCCDD
[root@aliyun shell]# cat sedscript.sed 
s/a/A/g
[root@aliyun shell]# sed -f sedscript.sed demo 		#-f 使用文件处理
AAA
bbbb
AABBCCDD
[root@aliyun shell]# sed -i.bak "s/a/A/g" demo 		#-i.bak直接对文本进行处理,同时将原文本备份为.bak文件
[root@aliyun shell]# cat demo
AAA
bbbb
AABBCCDD
[root@aliyun shell]# cat demo.bak 					
aaa
bbbb
AABBCCDD

4.3.2、地址界定

[root@aliyun shell]# cat demo
aaa
bbbb
AABBCCDD
[root@aliyun shell]# sed -n "p" demo 	#不指定行，打印全部内容
aaa
bbbb
AABBCCDD
[root@aliyun shell]# sed "2s/b/B/g" demo	#替换第2行的b为B
aaa
BBBB
AABBCCDD
[root@aliyun shell]# sed -n "/aaa/p" demo	
aaa
[root@aliyun shell]# sed -n "1,2p" demo		#打印1-2行
aaa
bbbb
[root@aliyun shell]# sed -n "/aaa/,/DD/p" demo	#打印aaa-DD行
aaa
bbbb
AABBCCDD
[root@aliyun shell]# sed -n "2,/DD/p" demo		#打印2-DD行
bbbb
AABBCCDD
[root@aliyun shell]# sed "1~2s/[aA]/E/g" demo	#将奇数行的a或A替换为E
EEE
bbbb
EEBBCCDD

4.3.3、编辑命令command

[root@aliyun shell]# cat demo 
aaa
bbbb
AABBCCDD
[root@aliyun shell]# sed "2d" demo	#删除第2行
aaa
AABBCCDD
[root@aliyun shell]# sed -n "2p" demo	#打印第二行
bbbb
[root@aliyun shell]# sed "2a123" demo	#将123添加到第二行后面
aaa
bbbb
123
AABBCCDD
[root@aliyun shell]# sed "1i123" demo	#将123添加到第一行前面
123
aaa
bbbb
AABBCCDD
[root@aliyun shell]# sed "3c123\n456" demo 	#将123\n456替换第三行
aaa
bbbb
123
456
[root@aliyun shell]# sed -n "3w/home/shell/demo3" demo	#将第三行写到/home/shell/demo3文件中
[root@aliyun shell]# cat demo3
AABBCCDD
[root@aliyun shell]# sed "1r/home/shell/demo3" demo		#将/home/shell/demo3文件中内容读取到第一行后面
aaa
AABBCCDD
bbbb
AABBCCDD
[root@aliyun shell]# sed -n "=" demo	#打印行号
1
2
3
[root@aliyun shell]# sed "s@[a-z]@\u&@g" demo	#将所有小写字母转换为大写
AAA
BBBB
AABBCCDD
[root@aliyun shell]# sed -n '2!p' demo			#除第二行内容外，全部打印
aaa
AABBCCDD

4.4、sed高级编辑命令

4.4.1、格式

• h：将模式空间中的内容覆盖至保持空间中
• H：将模式空间中的内容追加至保持空间中
• g：从保持空间取出数据覆盖至模式空间
• G：从保持空间取出数据追加至模式空间
• x：将模式空间中的内容与保持空间中的内容进行互换
• n：读取匹配到的行的下一行覆盖至模式空间
• N：读取匹配到的行的下一行追加至模式空间
• d：删除模式空间中的行
• D：删除当前模式空间开端到\n的内容（不再传至标准输出），放弃之后的命令，但是对剩余模式空间重新执行sed

4.4.2、案例+示意图

#倒叙输出文件内容
[root@aliyun shell]# cat num.txt 
1
2
3
[root@aliyun shell]# sed '1!G;h;$!d' num.txt
3
2
1

示意图：

4.4.3、总结

​ 保持空间是模式空间一个临时存放数据的缓冲区，协助模式空间进行数据处理

4.4.4、演练

#显示偶数行
[root@aliyun shell]# seq 9 | sed -n "n;p"
2
4
6
8
#倒叙显示
[root@aliyun shell]# seq 9 | sed '1!G;h;$!d'
9
8
7
6
5
4
3
2
1
#显示奇数行
[root@aliyun shell]# seq 9 | sed "H;n;d"
1
3
5
7
9
#打印最后一行
[root@aliyun shell]# seq 9 | sed "N;D"
9
#每行之间加空行
[root@aliyun shell]# seq 9 | sed "G"
1
 
2
 
3
 
4
 
5
 
6
 
7
 
8
 
9
#将每行内容替换成空行
[root@aliyun shell]# seq 9 | sed "g"
 
 
 
 
 
 
 
 
#确保每一行下面都有一个空行
[root@aliyun shell]# seq 9 | sed '/^$/d;G'
1
 
2
 
3
 
4
 
5
 
6
 
7
 
8
 
9
 

5、awk

5.1、简介

​ awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自于标准输入、一个或多个文件、或其他命令的输出。它支持用户自定义函数和动态正则表达式等功能，是linux/unix下的一个强大的编程工具。它在命令行中使用，但更多是作为脚本使用。awk有很多内建的功能，比如数组、函数等。

5.2、使用awk

5.2.1、语法

[root@localhost ~]# awk [选项] '脚本命令' 文件名

5.2.2、常用命令选项

• -F fs：指定以fs作为输入行的分隔符，awk命令默认分隔符为空格或制表符
• -v var=value：在执行处理过程之前，设置一个变量var，并给其设置初始值
• -f scriptfile：从脚本文件中读取awk命令，以取代直接在命令行中输入指令

awk的强大之处

​ awk的强大之处在于脚本命令，它由两部分组成，分别为匹配规则和执行命令，如下所示：

'匹配规则{执行命令}'

​ 这里的匹配规则，用来指定脚本命令中可以作用到文本内容中的具体行，可以使用字符串（比如/demo/，表示查看含有demo字符串的行）或正则表达式指定。

​ 注：整个脚本命令是用单引号括起来，而其中的执行命令部分需要用大括号括起来

5.3、awk变量

5.3.1、内置变量

变量	描述
FS	输入字符分隔符，默认为空白字符
OFS	输出字段分隔符，默认为空白字符
RS	输入记录分隔符，指定输入时的换行符，原换行符仍有效
ORS	输出记录分隔符，输出时用指定符号代替换行符
NF	字符数量，共有多少个字段，$NF引用最后一列，$(NF-1)引用倒数第二列
NR	行号，后可跟多个文件，第二个文件行号则继续从第一个文件最后行号开始
FNR	各文件分别计数，行号；后跟一个文件和NR一样，跟多个文件，第二个文件行号从1开始
FILENAME	当前文件名
ARGC	命令行参数的个数
ARGV	数组，保存的是命令行所给定的各参数，查看参数

示例：

[root@aliyun shell]# cat awkdemo 
hello:world
linux:redhat:lalala:hahaha
along:love:you
[root@aliyun shell]# awk -v FS=":" '{print $1,$2}' awkdemo  #FS指定输入分隔符
hello world
linux redhat
along love
[root@aliyun shell]# awk -v FS=":" -v OFS="---" '{print $1,$2}' awkdemo  #OFS指定输出分隔符
hello---world
linux---redhat
along---love
[root@aliyun shell]# awk -v RS=":" '{print $1,$2}' awkdemo
hello 
world linux
redhat 
lalala 
hahaha along
love 
you 
[root@aliyun shell]# awk -v FS=":" -v ORS="---" '{print $1,$2}' awkdemo 
hello world---linux redhat---along love---
[root@aliyun shell]# awk -F: '{print NF}' awkdemo
2
4
3
[root@aliyun shell]# awk -F: '{print $(NF-1)}' awkdemo 
hello
lalala
love
[root@aliyun shell]# awk END'{print NR}' awkdemo
3

5.3.2、自定义变量

1、先定义变量，后执行动作

[root@aliyun shell]# cat awkdemo 
hello:world
linux:redhat:lalala:hahaha
along:love:you
 
[root@aliyun shell]# awk -v name="along" -F: '{print name":"$0}' awkdemo
along:hello:world
along:linux:redhat:lalala:hahaha
along:along:love:you

2、先执行动作，后定义变量

[root@aliyun shell]# awk -F: '{print name":"$0;name="along"}' awkdemo
:hello:world
along:linux:redhat:lalala:hahaha
along:along:love:you

3、调用脚本进行定义

[root@aliyun shell]# cat awk.txt 
{name="along";print name,$1}
 
[root@aliyun shell]# awk -F: -f awk.txt awkdemo
along hello
along linux
along along
[root@aliyun shell]# 

6、grep、sed、awk对比

• grep主要用于搜索某些字符串；sed和awk用于处理文本。
• grep基本是以行为单位处理文本的
• sed是一个非交互性文本流编辑器，它编辑文件或标准输入导出的文本拷贝。sed编辑器按照一次处理一行的方式来处理文件（或输入）并将输出送到屏幕上。sed把当前正在处理的行保存在一个临时缓存里，这个缓存叫做模式空间；一旦sed完成了对模式空间里的行的处理，就把模式空间的行送到屏幕上（除非该命令要删除该行或禁止打印）；处理完该行之后，从模式空间中删除它，然后把下一行读入模式空间，进行处理并显示。当输入文件的最后一行处理完后，sed终止。通过将每一行存到一个临时缓存里并编辑该行，初始文件不会被修改或被破坏。
• awk和sed一样，也是逐行读取，是以字段为单位来处理文本