什么是正则表达式
在做文字处理或编写程序时,用到查找、替换等功能,使用正则表达式能够简单快捷的完成目标。简单而言,正则表达式通过一些特殊符号的帮助,使用户可 以轻松快捷的完成查找、删除、替换等处理程序。例如 grep, expr, sed , awk. 或 Vi 中经常会使用到正则表达式,为了充分发挥 shell 编程的威力,需要精通正则表达式。正规表示法基本上是一种表示法』, 只要工具程序支持这种表示法,那么该工具程序就可以用来作为正规表示法的字符串处理之用。 也就是说,例如 vi, grep, awk ,sed 等等工具,因为她们有支持正规表示法, 所以,这些工具就可以使用正规表示法的特殊字符来进行字符串的处理。
正则表达式特殊符号
首先是正则表达式的特殊符号:
1 [:alnum:]代表英文大小写字母及数字 2 [:alpha:]代表英文大小写字母 3 [:blank:]代表空格和 tab 键 4 [:cntrl:]键盘上的控制按键,如 CR,LF,TAB,DEL 5 [:digit:]代表数字 6 [:graph:]代表空白字符以外的其他 7 [:lower:]小写字母 8 [:print:]可以被打印出来的任何字符 9 [:punct:]代表标点符号 10 [:upper:]代表大写字符 11 [:space:]任何会产生空白的字符如空格,tab,CR 等 12 [:xdigit:]代表 16 进位的数字类型
特殊符号实例
任意建立一个文本并编辑。
1 $ touch re.txt 2 $ vi re.txt 3 //或者 sudo gedit re.txt
文本内容为:
"Open Source" is a good mechanism to develop programs. apple is my favorite food. Football game is not use feet only. this dress doesn't fit me. However, this dress is about $ 3183 dollars. GNU is free air not free beer. Her hair is very beauty. I can't finish the test. Oh! The soup taste good. motorcycle is cheap than car. This window is clear. the symbol '*' is represented as start. Oh!My god! The gd software is a library for drafting programs. You are the best is mean you are the no. 1. The world <Happy> is the same with "glad". I like dog. google is the best tools for search keyword. goooooogle yes! go! go! Let's go. # I am VBird
查找小写字母:
$ grep -n '[[:lower:]]' re.txt
查找数字:
1 # grep -n '[[:digit:]]' re.txt
搜寻特定字符串"the"
1 grep [参数] [字符串] [文件名]
参数说明:
-a :将 binary 档案以 text 档案的方式搜寻数据
-c :计算找到 '搜寻字符串' 的次数
-i :忽略大小写的不同,所以大小写视为相同
-n :顺便输出行号
-v :反向选择,亦即显示出没有 '搜寻字符串' 内容的那一行!
1 $ grep -n 'the' re.txt 2 $ grep -in 'the' re.txt
反向查找,也就是说当该行没有”the“ 字符时才显示在屏幕上。
1 $ grep -vn 'the' re.txt
字符组匹配:
[]中包含的任意一个字符。只能是一个。
字符组支持由连字符“ - ”来表示一个范围。当“ - ”前后构成范围时,要求前面字符的码位小于后面字符的码位。
[^...] 排除型字符组。排除后面的字符。
1 [abc] :表示“a”或“b”或“c” 2 [0-9] :表示 0~9 中任意一个数字,等价于[0123456789] 3 [\u4e00-\u9fa5] :表示任意一个汉字 4 [^a1<] :表示除“a”、“1”、“<”外的其它任意一个字符 5 [^a-z] :表示除小写字母外的任意一个字符
1 查找“tast”或者“test”两个字符串。 2 # grep -n 't[ae]st' re.txt 3 查找不包含“#”的字符串 4 # grep -n '[^#]' re.txt
查找字符“oog”,如果我不想要“oog”字符前面有 g,则查找“[^g]oog”,同理,查找“[^go]oog”是指字符“oog”前面不能为 g 或者 o。
1 $ grep -n 'oog' re.txt 2 $ grep -n '[^g]oog' re.txt 3 $ grep -n '[^go]oog're.txt
grep -n '[^go]oog'regular_express.txt 结果返回为空,表明没有匹配到满足要求的字符串。
2.3 行首符: ^ 与行尾符: $
在第一个小实验中,查找了一行字符中含有“the”的,如果你想要只查找行首为“the”的字符行,则使用以下命令:
1 $ grep -n '^the' re.txt
查找行首为大写字母的所有行:
'^[A-Z]' 表示以大写字母开头。
'[^A-Z]' 表示除了大写字母 A-Z 的所有字符。
1 # grep -n '^[A-Z]' re.txt
查找以 d 字母结尾的行:
1 # grep -n 'd$' re.txt
查找空行:
1 $ grep -n '^$' re.txt
'^$' : 过滤掉空白行
'^#' :过滤掉注释行(以#号开头)
1 $ cat -n /etc/insserv.conf 2 $ grep -v '^$' /etc/insserv.conf | grep -v '^#'
任意一个字符: " . "(小数点)与重复字符 “ * ”(星号)
查找 a?ou?类型的字符。
1 $ grep -n 'a.ou.' re.txt
'a.ou.' : 小数点表示任意一个字符,一个小数点只能表示一个未知字符。
*(星号):代表重复前面 0 个或者多个字符。 e*: 表示具有空字符或者一个以上 e 字符。 ee*,表示前面的第一个 e 字符必须存在。第二个 e 则可以是 0 个或者多个 e 字符。 eee*,表示前面两个 e 字符必须存在。第三个 e 则可以是 0 个或者多个 e 字符。 ee*e :表示前面的第一个与第三个 e 字符必须存在。第二个 e 则可以是 0 个或者多个 e 字符。
下面的第一条命令与第二条命令由于允许存在空字符,所以会打印所有文本。
1 $ grep -n 'e*' re.txt 2 $ grep -n '@*' re.txt 3 $ grep -n 'eee*' re.txt
限定连续字符范围{ }
{ }可限制一个范围区间内的重复字符数。举个例子,若要找出 2~5 个 o 的连续字符串,如何做? 此时便要用到{}了。由于 { 与 } 在 shell 中有特殊意义,需要用到转义字符\。
查找连续的两个 o 字符:
1 $ grep -n 'o\{2\}' re.txt
结果与命令 grep -n 'ooo*' re.txt 的结果相同。
查找 g 后面接 2 到 5 个 o,然后再接 g 的字符串
1 $ grep -n 'go\{2,5\}g' re.txt
总结:
^word 表示带搜寻的字符串(word)在行首 word$ 表示带搜寻的字符串(word)在行尾 .(小数点) 表示 1 个任意字符 \ 表示转义字符,在特殊字符前加\会将特殊字符意义去除 * 表示重复 0 到无穷多个前一个 RE(正则表达式)字符 [list] 表示搜索含有 l,i,s,t 任意字符的字符串 [n1-n2] 表示搜索指定的字符串范围,例如[0-9] [a-z] [A-Z]等 [^list] 表示反向字符串的范围,例如[^0-9]表示非数字字符,[^A-Z]表示非大写字符范围 \{n,m\} 表示找出 n 到 m 个前一个 RE 字符 \{n,\} 表示 n 个以上的前一个 RE 字符
Sed工具
sed 是非交互式的编辑器。它不会修改文件,除非使用 shell 重定向来保存结果。默认情况下,所有的输出行都被打印到屏幕上。
sed 编辑器逐行处理文件(或输入),并将结果发送到屏幕。具体过程如下:
首先 sed 把当前正在处理的行保存在一个临时缓存区中(也称为模式空间),
然后处理临时缓冲区中的行,完成后把该行发送到屏幕上。
sed 每处理完一行就将其从临时缓冲区删除,然后将下一行读入,进行处理和显示。
处理完输入文件的最后一行后,sed 便结束运行。
sed 把每一行都存在临时缓冲区中,对这个副本进行编辑,所以不会修改原文件。
如果要修改原文件,可使用-i 选项。
将 re.txt 的内容列出并打印行号,同时,将 2-5 行删除显示
代码如下:
1 $ nl re.txt | sed '2,5d'
命令解释:'2,5d' 表示 2~5 行,d 表示删除。
注: sed 是 sed -e 的简写, 后接单引号
同上删除第 2 行
$ nl re.txt | sed '2d'
同上删除第三行到最后一行, $定位到最后一行
$ nl re.txt | sed '3,$d'
在原文件中删除第 1 行:
$ sed -i '1d' re.txt
a
表示在行后加上字符串,i
表示在行前添加字符串
在第二行后添加 test 字符串
$ nl re.txt | sed '2a test'
在第二行前添加 test 字符串
$ nl re.txt | sed '2i test'
在第二行后加入两行 test,“\n”表示换行符
$ nl re.txt | sed '2a test\ntest'
将 2-5 行内容取代为 No 2-5 number
c 为替换内容选项。
$ nl re.txt | sed '2,5c No 2-5 number'
列出 re.txt 内第 5-7 行
sed 命令中-n 为安静模式选项。以下两条命令执行结束后可对比结果。
$ nl re.txt |sed -n '5,7p' $ nl re.txt |sed '5,7p'
替换字符串:
sed 's/被替换字符串/新字符串/g'
获取本机 IP 的行
$ /sbin/ifconfig eth0 |grep 'inet '
inet 后面的空格不能少
命令详解:
在/sbin/ifconfig eth0 的结果中查找‘inet’,打印至终端
将 IP 前面的部分予以删除,下面两条命令结果相同。
$ /sbin/ifconfig eth0 |grep 'inet '| sed 's/.inet...://g' $ /sbin/ifconfig eth0 |grep 'inet '| sed 's/.\{0,9\}://'
将 IP 后面的部分删除
$ /sbin/ifconfig eth0 |grep 'inet '| sed 's/.inet...://g'| sed 's/..:.*$//g' $ /sbin/ifconfig eth0 |grep 'inet '| sed 's/.inet...://g'| sed 's/.\{0,3\}:.*$//g'
扩展正则表达式
正规表示法:
$ grep -v '^$' re.txt |grep -v '^#'
需要使用到管线命令来搜寻两次! 那么如果使用延伸型的正规表示法,我们可以简化为:
$ egrep -v '^$|^#' re.txt
利用支持延伸型正规表示法的 egrep 与特殊字符 “|” 的组功能来区隔两组字符串,如此一来,是否方便很多呢?
此外,grep 默认仅支持基础正则表达式,如果要使用扩展性正则表达式,可以使用 grep - E。grep -E 与 egrep 相当于命令别名关系。
扩展规则
+ :表示重复一个或一个以上的前一个 RE 字符
$ egrep -n 'go+d' re.txt
普通写法:
$ grep -n 'goo*d' re.txt
? : 表示重复零个或一个前一个 RE 字符
$ egrep -n 'go?d' re.txt
上述三条命令结果如上,发现 ‘goo*d’ 与 ‘go+d’ 等同,而 ‘go?d’ 结果不同。
| :表示用或的方式找出数个字符串
$ egrep -n 'gd|good' re.txt
() : 表示找出群组字符串
$ egrep -n 'g(la|oo)d' re.txt
也就是搜寻(glad)或 good 这两个字符串
()+ : 多个重复群组判别
$ echo 'AxyzxyzxyzxyzC'|egrep 'A(xyz)+C' $ echo 'AxyzxyzxyzxyzC'|egrep 'A(xz)+C'
也就是要找开头是 A 结尾是 C 中间有一个以上的 ‘xyz’ 或 ‘xz’ 字符串的意思。
结果显示 ‘A(xyz)+C’ 可以匹配, ‘A(xz)+C’ 没有匹配项。