Shell编程之正则表达式与文本处理器
1.正则表达式
基础正则表达式
扩展正则表达式
2.文件处理器
sed
awk
cut
sort
uniq
Tr
3.awk
1.正则表达式
正则表达式---通常用于判断语句中,用来检查某一字符串是否满足某一格式
正则表达式是由普通字符与元字符组成
普通字符
包括大小写字母、数字、标点符号及一些其他符号
元字符
是指在正则表达式中具有特殊意义的专用字符,可以用来规定其前导字符(即位于元字符前面的字符)在目标对象中的出现模式
LINUX 中常用的有两种正则表达式引擎
基础正则表达式:BRE
扩展正则表达式: ERE
基础正则表达式
基础正则表达式常见元字符:(支持的工具:grep、egrep、sed、awk)
特殊字符
\:转义符,将特殊字符进行转义,忽略其特殊意义a\.b匹配a.b,但不能匹配ajb,.被转义为特殊意义\\\\
^:匹配行首,^则是匹配字符串的开始^tux匹配以tux开头的行^^^^
$:匹配行尾,$则是匹配字符串的结尾tux$匹配以tux结尾的行$$$$
.:匹配除换行符\r\n之外的任意单个字符
[list]:匹配list列表中的一个字符 例: go[ola]d,[abc]、[a-z]、[a-z0-9]
[^list]:匹配任意不在list列表中的一个字符 例: [^a-z]、[^0-9]、[^A-Z0-9]
*:匹配前面子表达式0次或者多次 例:goo*d、go.*d
\{n\} :匹配前面的子表达式n次,例:go\{2\}d、'[O-9]\{2\}'匹配两位数字
\{n,\}:匹配前面的子表达式不少于n次,例: go\{2,\}d、' [0-9]\{2,\}'匹配两位及两位以上数字
\{n,m\}﹔匹配前面的子表达式n到m次,例: go\{2,3\)d、'[0-9]\{2,3\}'匹配两位到三位数字
注: egrep、awk使用{n}、{n, }、{n, m}匹配时“{}"前不用加"\”
egrep -E -n 'wo{2}d' test.txt //-E 用于显示文件中符合条件的字符
egrep -E -n 'wo{2,3}d' test.txt
定位符
^ 匹配输入字符串开始的位置
$ 匹配输入字符串结尾的位置
非打印字符
\n 匹配一个换行符
\r 匹配一个回车符
\t 匹配一个制表符
扩展正则表达式(支持的工具:egrep、awk)
通常情况下会使用基础正则表达式就已经足够了,但有时为了简化整个指令,需要使用 范围更广的扩展正则表达式。例如,使用基础正则表达式查询除文件中空白行与行首为“#”
之外的行(通常用于查看生效的配置文件),执行“grep -v‘^$’test.txt | grep -v‘^#’”即可实现。这里需要使用管道命令来搜索两次。如果使用扩展正则表达式, 可以简化为“egrep
-v‘^$|^#’test.txt”,其中,单引号内的管道符号表示或者(or)。
此外,grep 命令仅支持基础正则表达式,如果使用扩展正则表达式,需要使用 egrep 或 awk 命令。awk 命令在后面的小节进行讲解,这里我们直接使用 egrep 命令。egrep 命令与 grep 命令的用法基本相似。egrep 命令是一个搜索文件获得模式,使用该命令可以搜索文件中的任意字符串和符号,也可以搜索一个或多个文件的字符串,一个提示符可以是单个字符、一个字符串、一个字或一个句子。
与基础正则表达式类型相同,扩展正则表达式也包含多个元字符,常见的扩展正则表达 式的元字符主要包括以下几个.
案列:
+ 作用:重复一个或者一个以上的前一个字符
示例:执行“egrep -n 'wo+d' test.txt”命令,即可查询"wood" "woood" "woooooood"等字符串
? 作用:零个或者一个的前一个字符
示例:执行“egrep -n 'bes?t' test.txt”命令,即可查询“bet”“best”这两个字符串
| 作用:使用或者(or)的方式找出多个字符
示例:执行“egrep -n 'of|is|on' test.txt”命令即可查询"of"或者"if"或者"on"字符串
() 作用:查找“组”字符串
示例:“egrep -n 't(a|e)st' test.txt”。“tast”与“test”因为这两个单词的“t”与“st”是重复的,所以将“a”与“e”
列于“()”符号当中,并以“|”分隔,即可查询"tast"或者"test"字符串
()+ 作用:辨别多个重复的组
示例:“egrep -n 'A(xyz)+C' test.txt”。该命令是查询开头的"A"结尾是"C",中间有一个以上的"xyz"字符串的意思
grep命令
grep命令使用正则表达式来搜索文本,并且把匹配的文本打印出来。
格式:grep [options]pattern [file]
option表示选项,pattern表示匹配的模式。file表示一系列文件名。
常用选项:
-c 只打印匹配的文本行的次数,不显示文本内容。
-i 匹配时忽略字母大小写
-h 当搜索多个文件,不显示匹配文件名前缀。
-l 只列出含义匹配的文本行的文件的文件名,不显示其具体匹配的内容。
-n 列出所有匹配的文本行,并显示行号
-s 不显示关于不存在或无法读取文件的错误信息
-v 只显示不匹配的文本行,反向选择,显示与搜索字符串不相符的行。
-w 匹配整个单词
-x 匹配整个文本行
-r 递归搜索,不仅搜索当前目录,还有各级子目录
-E 开启扩展(extend)的正则表达式
--color=auto 可以将找到的关键词部分加上颜色的显示
案列
grep -c root /etc/passwd
//统计root字符总行数;或cat ,letc/passwd / grep root
grep -i "the" text.txt
//不区分大小写查找the所有的行
grep -v root /etc/passwd
//查看/etc/passwd,将没有出现root 的行取出来
cat web.sh /grep -v '^$' >test.txt1
//将非空行写入到test.txt文件
元字符操作的案列
(1)查找特定字符
查找特定字符非常简单,如执行以下命令即可从 test.txt 文件中查找出特定字符“the”所在位置。其中“-n”表示显示行号、“-i”表示不区分大小写。命令执行后,符合匹配标准的字符, 字体颜色会变为红色。
grep -n 'the' test.txt
若反向选择,如查找不包含“the”字符的行,则需要通过 grep 命令的“-v”选项实现,并配合“-n”一起使用显示行号。
grep -vn 'the' test.txt
(2)利用中括号“[]”来查找集合字符
想要查找“shirt”与“short”这两个字符串时,可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串,其中“[]”中无论有几个字符, 都仅代表一个字符,也就是说“[io]”表示匹配“i”或者“o”。
grep -n 'sh[io]rt' test.txt
若要查找包含重复单个字符“oo”时,只需要执行以下命令即可。
grep -n 'oo' test.txt
若查找“oo”前面不是“w”的字符串,只需要通过集合字符的反向选择“[^]”来实现该目的。例如执行“grep -n‘[^w]oo’test.txt”命令表示在 test.txt 文本中查找“oo”前面不是“w”的字符串。
grep -n '[^w]oo' test.txt
3:The home of Football on BBC Sport online.
5:google is the best tools for search keyword.
11:#woood #
12:#woooooood #
14:I bet this place is really spooky late at night!
在上述命令的执行结果中发现“woood”与“wooooood”也符合匹配规则,二者均包含“w”。其实通过执行结果就可以看出,符合匹配标准的字符加粗显示,而上述结果中可以得知, “#woood #”中加粗显示的是“ooo”,而“oo”前面的“o”是符合匹配规则的。同理“#woooooood #”也符合匹配规则。
若不希望“oo”前面存在小写字母,可以使用“grep -n‘[^a-z]oo’test.txt”命令实现,其中“a-z”表示小写字母,大写字母则通过“A-Z”表示。
[root@localhost ~]# grep -n '[^a-z]oo' test.txt
3:The home of Football on BBC Sport online.
查找包含数字的行可以通过“grep -n ‘[0-9]’ test.txt”命令来实现。
[root@localhost ~]# grep -n '[0-9]' test.txt
4:the tongue is boneless but it breaks bones.12! 7:PI=3.141592653589793238462643383249901429
(3)查找行首“^”与行尾字符“$”
基础正则表达式包含两个定位元字符:“^”(行首)与“$”(行尾)。在上面的示例中, 查询“the”字符串时出现了很多包含“the”的行,如果想要查询以“the”字符串为行首的行,则可以通过“^”元字符来实现。
[root@localhost ~]# grep -n '^the' test.txt
4:the tongue is boneless but it breaks bones.12!
查询以小写字母开头的行可以通过“^[a-z]”规则来过滤,查询大写字母开头的行则使用
“^[A-Z]”规则,若查询不以字母开头的行则使用“^[^a-zA-Z]”规则。
[root@localhost ~]# grep -n '^[a-z]' test.txt
1:he was short and fat.
4:the tongue is boneless but it breaks bones.12! 5:google is the best tools for search keyword.
8:a wood cross!
[root@localhost ~]# grep -n '^[A-Z]' test.txt
2:He was wearing a blue polo shirt with black pants. 3:The home of Football on BBC Sport online.
6:The year ahead will test our political establishment to the limit. 7:PI=3.141592653589793238462643383249901429
9:Actions speak louder than words
13:AxyzxyzxyzxyzC
14:I bet this place is really spooky late at night! 15:Misfortunes never come alone/single.
16:I shouldn't have lett so tast.
[root@localhost ~]# grep -n '^[^a-zA-Z]' test.txt
11:#woood # 12:#woooooood #
“^”符号在元字符集合“[]”符号内外的作用是不一样的,在“[]”符号内表示反向选择,在“[]” 符号外则代表定位行首。反之,若想查找以某一特定字符结尾的行则可以使用“$”定位符。例如,执行以下命令即可实现查询以小数点(.)结尾的行。因为小数点(.)在正则表达式中也是一个元字符(后面会讲到),所以在这里需要用转义字符“\”将具有特殊意义的字符转化成普通字符。
[root@localhost ~]# grep -n '\.$' test.txt
1:he was short and fat.
2:He was wearing a blue polo shirt with black pants. 3:The home of Football on BBC Sport online.
5:google is the best tools for search keyword.
6:The year ahead will test our political establishment to the limit. 15:Misfortunes never come alone/single.
16:I shouldn't have lett so tast.
当查询空白行时,执行“grep -n‘^$’test.txt”命令即可。
[root@localhost ~]# grep -n '^$' test.txt
10:
(4)查找任意一个字符“.”与重复字符“*”
前面提到,在正则表达式中小数点(.)也是一个元字符,代表任意一个字符。例如执行以下命令就可以查找“w??d”的字符串,即共有四个字符,以 w 开头 d 结尾。
[root@localhost ~]# grep -n 'w..d' test.txt
5:google is the best tools for search keyword.
8:a wood cross!
9:Actions speak louder than words
在上述结果中,“wood”字符串“w..d”匹配规则。若想要查询 oo、ooo、ooooo 等资料, 则需要使用星号(*)元字符。但需要注意的是,“*”代表的是重复零个或多个前面的单字符。 “o*”表示拥有零个(即为空字符)或大于等于一个“o”的字符,因为允许空字符,所以执行“grep
-n 'o*' test.txt”命令会将文本中所有的内容都输出打印。如果是“oo*”,则第一个 o 必须存在, 第二个 o 则是零个或多个 o,所以凡是包含 o、oo、ooo、ooo,等的资料都符合标准。同理,若查询包含至少两个 o 以上的字符串,则执行“grep -n 'ooo*' test.txt”命令即可。
[root@localhost ~]# grep -n 'ooo*' test.txt
3:The home of Football on BBC Sport online. 5:google is the best tools for search keyword.
8:a wood cross!
11:#woood # 12:#woooooood #
14:I bet this place is really spooky late at night!
查询以 w 开头 d 结尾,中间包含至少一个 o 的字符串,执行以下命令即可实现。
[root@localhost ~]# grep -n 'woo*d' test.txt
8:a wood cross!
11:#woood #
12:#woooooood #
执行以下命令即可查询以 w 开头 d 结尾,中间的字符可有可无的字符串。
[root@localhost ~]# grep -n 'w.*d' test.txt
1:he was short and fat.
5:google is the best tools for search keyword. 8:a wood cross!
9:Actions speak louder than words 11:#woood #
12:#woooooood #
执行以下命令即可查询任意数字所在行。
[root@localhost ~]# grep -n '[0-9][0-9]*' test.txt
4:the tongue is boneless but it breaks bones.12! 7:PI=3.141592653589793238462643383249901429
(5)查找连续字符范围“{}”
在上面的示例中,使用了“.”与“*”来设定零个到无限多个重复的字符,如果想要限制一个范围内的重复的字符串该如何实现呢?例如,查找三到五个 o 的连续字符,这个时候就需要使用基础正则表达式中的限定范围的字符“{}”。因为“{}”在 Shell 中具有特殊意义,所以在使用“{}”字符时,需要利用转义字符“\”,将“{}”字符转换成普通字符。“{}”字符的使用方法如下所示。
① 查询两个 o 的字符。
[root@localhost ~]# grep -n 'o\{2\}' test.txt
3:The home of Football on BBC Sport online.
5:google is the best tools for search keyword.
8:a wood cross!
11:#woood # 12:#woooooood #
14:I bet this place is really spooky late at night!
② 查询以 w 开头以 d 结尾,中间包含 2~5 个 o 的字符串。
[root@localhost ~]# grep -n 'wo\{2,5\}d' test.txt
8:a wood cross! 11:#woood #
③ 查询以 w 开头以 d 结尾,中间包含 2 个或 2 个以上 o 的字符串。
[root@localhost ~]# grep -n 'wo\{2,\}d' test.txt
8:a wood cross!
11:#woood # 12:#woooooood #
二 cut、sort、uniq、tr
cut:列截取工具
使用说明:cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。如果不指定 File 参数,cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一
选项:
-b:按字节截取
-c:按字符截取,常用于中文
-d:指定以什么为分隔符截取,默认为制表符
-f:通常和-d一起
[root@localhost ~]# cat /etc/passwd | cut -d':' -f 1
root
bin
daemon
[root@localhost ~]# cat /etc/passwd | cut -d':' -f 3
0
1
2
[root@localhost ~]# cat /etc/passwd | cut -d':' -f1,3
root:0
bin:1
daemon:2
[root@localhost ~]# cat /etc/passwd | cut -d':' -f1-3
root:x:0
bin:x:1
daemon:x:2
[root@localhost ~]# who | cut -b 3
o
o
o
[root@localhost ~]# who | cut -c 3
o
o
o
[root@localhost ~]# cat name | cut -b 2
[root@localhost ~]# cat name | cut -c 2
刚
春
注意:cut只擅长于处理单个字符为间隔的文本
sort 是一个以行为单位对文件内容进行排序的工具,也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样
语法:
sort [选项] 参数
常用选项
-t:指定分隔符,默认使用[Tab]吧 键或空格分隔
-k:指定排序区域,哪个区间排序
-n:按照数字进行排序,默认是以文字形式排序
-u:等同于 uniq,表示相同的数据仅显示一行,注意:如果行尾有空格去重就不成功
-r:反向排序,默认是升序,-r就是降序
-o:将排序后的结果转存至指定文件
-f: 忽略大小写,会将小写的字母都转换为大写字母来进行比较
-b: 忽略每行前面的空格
sort passwd.txt //不加任何选项默认按第一列升序,字母的话就是从a到z由上而下显示
sort -n -t: -k3 passwd.txt //以冒号为分隔符,以数字大小对第三列排序(升序)
sort -nr -t: -k3 passwd.txt //以冒号为分隔符,以数字大小对第三列排序(降序)
sort -nr -t: -k3 passwd.txt -o passwd.bak //将输结果不在屏幕上输出而是输出到passwd.bak文件
sort -u passwd.txt //去掉文件中重复的行(重复的行可以是不连续的)
zhangsan
gggggg
lisi
uniq
主要用于去除连续的重复行
注意:是连续的行,所以通常和sort结合使用先排序使之变成连续的行再执行去重操作,否则不连续的重复行他不能去重
(1)语法
uniq [选项] 参数
(2)常用选项
-c:对重复的行进行计数;
-d:仅显示重复行;
-u:仅显示出现一次的行
[root@localhost ~]# cat fruit //创建一个水果类型的文件,一共9行内容
apple
apple
peache
pear
banana
cherry
cherry
banana
orange
[root@localhost ~]# cat fruit | uniq -c //统计重复行的次数,不连续的重复行他不算做重复行
2 apple
1 peache
1 pear
1 banana
2 cherry
1 banana
1 orange
[root@localhost ~]# cat fruit | sort | uniq -c //结合sort使用就是我们想要的效果
2 apple
2 banana
2 cherry
1 orange
1 peache
1 pear
[root@localhost ~]# cat fruit | sort | uniq -d //结合sort使用,过滤出重复行
apple
banana
cherry
[root@localhost ~]# cat fruit | sort | uniq -u //结合sort使用,过滤出不重复的行
orange
peache
pear
[root@localhost ~]# cat fruit | sort | uniq //结合sort使用,去重
apple
banana
cherry
orange
peache
pear
[root@localhost ~]# cat fruit | sort -u //也可以直接用sort -u
apple
banana
cherry
orange
peache
pear
实例1:查看登陆用户
[root@localhost ~]# who
root :0 2021-04-29 00:09 (:0)
root pts/0 2021-04-29 00:09 (:0)
root pts/1 2021-06-10 01:32 (192.168.245.1)
[root@localhost ~]# who | awk '{print $1}'
root
root
root
[root@localhost ~]# who | awk '{print $1}'| uniq
root
实例2:查看登陆过系统的用户
[root@localhost ~]# last | awk '{print $1}' | sort | uniq | grep -v "^$" | grep -v wtmp
reboot
root
shengjie
tr:它可以用一个字符来替换另一个字符,或者可以完全除去一些字符,也可以用它来除去重复字符
语法
用法:tr [选项]… SET1 [SET2]
从标准输入中替换、缩减和/或删除字符,并将结果写到标准输出。
常用选项
-d 删除字符
-s 删除所有重复出现的字符,只保留第一个
[root@localhost ~]# cat fruit | tr 'a-z' 'A-Z'
APPLE
APPLE
PEACHE
PEAR
BANANA
CHERRY
CHERRY
BANANA
ORANGE
[root@localhost ~]# cat fruit | tr 'apple' 'APPLE' //替换是一一对应的字母的替换
APPLE
APPLE
PEAchE
PEAr
bAnAnA
chErry
chErry
bAnAnA
orAngE
[root@localhost ~]# cat fruit | tr 'a' ' ' //把替换的字符用单引号引起来,包括特殊字符
pple
pple
pe che
pe r
b n n
cherry
cherry
b n n
or nge
[root@localhost ~]# cat fruit | tr 'a' '/'
/pple
/pple
pe/che
pe/r
b/n/n/
cherry
cherry
b/n/n/
or/nge
[root@localhost ~]# cat fruit | tr 'ap' '/' //多个字符替换成一个
///le
///le
/e/che
/e/r
b/n/n/
cherry
cherry
b/n/n/
or/nge
[root@localhost ~]# cat fruit | tr "'" '/' //如果想替换单引号则需要用双引号把单引号引起来,反斜杠转义也不行
apple
apple
peache
pear
banana
cherry
cherry
banana
/orange/
[root@localhost ~]# cat fruit | tr -d 'a' //删除所有a
pple
pple
peche
per
bnn
cherry
cherry
bnn
'ornge'
[root@localhost ~]# cat fruit | tr -d 'apple' //把所有含有这5个字母的都删除
ch
r
bnn
chrry
chrry
bnn
'orng'
[root@localhost ~]# cat fruit | tr -d '\n' //删除换行符
appleapplepeachepearbananacherrycherrybanana'orange'[root@localhost ~]#
[root@localhost ~]# cat fruit | tr -s 'p' //对p字符去重,只保留第一个
aple
aple
peache
pear
banana
cherry
cherry
banana
'orange'
[root@localhost ~]# cat fruit | tr -s '\n' //遇到多个回车只保留一个回车,相当于去除空行
apple
apple
peache
pear
banana
cherry
cherry
banana
'orange'
- 文件处理器
sed
文本处理工具,读取文本内容,根据指定的条件进行处理,如删除、替换、添加等
可在无交互的情况下实现相当复杂的文本处理操作
被广泛应用于Shell脚本,以完成自动化处理任务
sed依赖于正则表达式
工作原理:读取-->执行-->显示
读取:从输入流(文件、管道、标准输入)中读取一行内容并储存到临时的缓冲区中(又称模式空间,pallern space)
执行:默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,否则sed命令将会在所有的行上依次执行
显示:发哦那个修改后的内容到输出流。在发送数据后,模式空间将会被清空。
在所有的文件内容都被清理处理干净之前,上述过程将重复执行,直至所有内容被处理完
注意:默认情况下所有的sed
命令都是在模式空间内执行,因此输入的文件并不会发生任何变化,除非使用重定向存储输出
sed命令常见用法
通常情况下调用sed命令有俩种格式,如下所示。其中,“参数”是指操作的目标文件,当存在多个操作对象时用,文件之间用逗号“,”分割,而scriptfilc表示脚本文件,需要用-f去选项指定,当脚本文件出现在目标文件之前是,表示通过指定的脚本文件来处理输入的目标文件
常用的sed命令选项
-e或--exprossion:表示用指定命令或者脚本来处理输入的文本文件
-f或--filc:表示用指定的脚本文件来处理输入的文本文件
-h或--helo:显示帮助
-n、--quiet或silent:表示仅显示处理后的结果
-i.Bak:之间编辑文本文件
-r,-E:使用扩展正则表达式
-s:将多个文件视为独立文件,而不是单个连续的长文件流
“操作”用于对文件操作的动作行为,也就是ised的命令。通常情况下时采用的
“[n1[,n2]]”操作参数的格式。n1 n2时可选的,代表选择进行操作的形式,如操作需要在5-20行之间进行,则表示为”5,20”动作行为,常见的操作如下
a:泽佳,在当前行下面增加一行指定内容
c:替换,将选定行替换为指定内容
d:删除,删除选定的行
i:插入,在选定行上面插入一行指定内容
p:打印,如果同时指定行,表示打印指定行;如果不指定行,则表示打印所有内容;如果有非打印字符,则以ASCLL码输出。其通常与”-n”选项一起使用
s:替换,替换指定字符
y:字符转换
sed -n 'p' text.txt ##打印所有
sed -n '3p' text.txt ###打印第三行
sed -n '3,5p' text.txt ###打印3-5行
sed -n 'p;n' text.txt ##显示所有的奇数行,表示读入下一行资料
sed -n 'n;p' text.txt ###打印所有的偶数行,表示读入下一行资料
sed -n '1,5p;n' text.txt ###打印1-5行的奇数行
sed -n '10,${n;p}' text.txt ###打印以第十行开始计算为第一行到末尾的偶数行
在执行时,读取的第一行时文件的第十行,读取的第二行时文件的第十一行,以此类推,所以输出的偶数行是,以此类推直至末尾,其中包括空行
ifconfig ens33 |sed -n 2p ###打印IP所在行
以上是sed命令的基本用法,sed命令结合正则表达式时,格式略有不同,正则表达式以“/”包围。
sed -n '/the/p' text.txt ##打印有the的行
sed -n '4,/the/p' text.txt ##打印第四行至第一个包含the的行
sed -n '/the/=' text.txt ##输出包含the的行的行号
sed -n '/^PI/p' text.txt ##打印以PI开头的行
sed -n '/[0-9]$/p' text.txt ##打印以0-9 结尾的行
sed -n '/\<wood\>/p' text.txt ##打印包含wood单词的行
删除符合条件的文本(d)
下面命令中nl命令用于计算文件的行数,结合该命令可以更加直观地查看到命令执行地结果。
nl text.txt |sed '3d' ##删除第三行
nl text.txt |sed '3,5d' ##删除3-5行
nl text.txt |sed '/the/d' ##删除包含the的行
nl text.txt |sed '/the/!d' ##删除除了包含the 的行
sed '/^[a-z]/d' text.txt ##删除以a-z开头的行
sed '/\.$/d' text.txt ##删除以.结尾的行
sed '/^$/d' text.txt ##删除所有的空行
注意:若是删除重复的空行,即连续的空行只保留一个,”cat -s text,.txt”
替换符合条件的文本
在使用sed命令进行替换操作时需要用到s(字符串替换)、c(整行/整块替换)、y(字符转换)命令选项,常见用法如下所示
sed 's/the/THE/' text.txt ##将每行中第一个the替换成THE
sed 's/l/L/2' text.txt ##替换文本中每一行的第二个l为L
sed 's/the/THE/g' text.txt ##将文本中所有的the替换成THE
sed 's/o/ /g' text.txt ##将文本中所有的o替换成空格
sed 's/^/#/g' text.txt ##在每行开头添加一个#
sed '3,5s/^/#/g' text.txt ##在3-5行开头添加一个#
sed '/the/s/o/W/g' text.txt ##将所有包含the的行中的o替换为W
迁移符合条件的文本
在使用sed命令迁移符合条件的文本时,常用到以下参数
H:赋值到剪切板
w:保存为文件
q、G:将剪贴板中的数据覆盖/追加至指定行
r:读取指定文件
a:追加指定内容,具体操作方法如下所示
I,i 忽略大小写
sed '/the/{H;d};$G' text.txt ##将包含the的行移动到行尾
sed '1,5{H;d};15G' text.txt ##将1-5行移动到15行之后
sed '/the/w dc.txt' text.txt ##将包含the的行另外存储到dc.txt
sed '/the/r /etc/hostname' text.txt ##插入一行主机名到包含the的行的下一行
sed '3aNEW' text.txt ##在第三行后插入一个新行,内容为NEW
sed '/the/aNEW' text.txt ##在包含the的行后插入一个新行,内容为NEW
sed '3awwww\nww' text.txt ##在第三行后插入多行内容,\n表示换行
利用脚本操作sed命令
vim xy.list
1,5H
1,5d
$G
保存退出
sed -f xy.list text.txt
##将text.txt 文本的1-5行剪切到末尾
sed '/^/{s/root/ROOT/;s/x/X/g}' text.txt ##将每一行的所有root改为ROOT,x改为X
sed -ne '/^/{s/wo/WO/;s/y/Y/g}' -ne '1,10p' text.txt ##将每一行的wo改为WO,y改为Y,并且显示1-10行的修改结果
echo 123456789 | sed -r 's/(123)(456)(789)/\1/' ##将文本进行分组,并且替换成想要选择的分组
ifconfig ens33 | sed -rn '2s/.*inet ([0-9.]+) .*/\1/p' ##打印出自己的ip地址 -rn表示开启正则表达式并仅显示处理后的打印结果 2s表示在第二行进行替换操作,.表示任意的单个字符,*表示匹配零个和多个前导字符,([0-9.]+)表示分组,组内是0-9数字并以.分割,+表示重复一个或者一个以上的前一个字符,\1表示选定第一个分组,p表示显示
awk
概述:AWK是一种处理文本文件的语言,是一个强大的文本分析工具。
它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总工作数据
可以来自标准输入也可以是管道或文件。
20世纪70年代诞生于贝尔实验室,现在centos7用的是gawk,之所以叫 AwK是因为其取了三位创
始人Alfred Aho,Peter Weinberger,和 Brian Kernighan 的 Family Mame的首字符。
工作原理:
当读到第一行时,匹配条件,然后执行指定动作,再接着读取第二行数据处理,不会默认输出,如
果没有定义匹配条件默认是匹配所有数据行,awk隐含循环,条件匹配多少次动作就会执行多少次
逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量
中,并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个""字段"然后再进行处理。awk信
息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程
中,可以使用逻辑操作符"&"表示"与"、"||表示"或"、"!"表示非";还可以进行简单的数学运算,如H+、
一、*、/、%、^分别表示加、减、乘、除、取余和乘方。
命令格式:
awk选项'模式或条件{操作}'文件1文件2 ...
awk -f 脚本文件 文件1 文件2 ..
格式: awk关键字选项 命令部分'{xxxx} '文件名
awk内置变量
FS:指定每行文本的字段分隔符,缺省为空格或制表位
NF:当前处理的行的字段个数
NR:当前处理的行的行号(序数)
$0:当前处理的行的整行内容
$n:当前处理行的第n个字段(第n列)
FILENAME:被处理的文件名
RS:行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅
读入一条记录,以进行处理。预设值是''\n''
简说:数据记录分隔,默认为\n,即每行为一条记录
$1 $2中间没有,输出结果是没有空格的
逗号有空格效果
显示一个空格,空格需要用双引号引起来,如果不用引号默认以变量看待,如果是常量就需要双引
号引起来
逐行执行开始之前执行什么任务,结束之后再执行什么任务,用BEGIN、END
BEGIN一般用来做初始化操作,仅在读取数据记录之前执行一次
END一般用来做汇总操作,仅在读取完数据记录之后执行一次
其他内置变量的用法:
FS:打印之前定义字段分隔符
OFS:定义输出时以什么分隔
FNR:有多个文件时,FNR可以将每个文件的行号分开显示,不会追加到一起(NR会追加在一起)
RS:定义一个换行符,遇到该符号时则换行
ORS:定义一个分隔符,将多行合成为一行
awk高级用法:
-v:直接调用
getline:读取一行数据时得到的不是当前行而是当前行的下一行
if语句: awk的if语句也分为单分支、双分支和多分支
单分支为if ( ) { }
双分支为if() { }else{ }
多分支为if( ) { }else if() { }else { }
awk还支持for循环、 while循环、函数、数组等
开始模式下定义x初始值为0,判断条件为以/bin/bash结尾的,查看/etc/passwd文件,一行行判断
是否满足条件,满足则x+1,且输出信息,不满足跳过,最后结束模式输出当前x的值
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了