正则表达式基本使用

1:正则表达式的各种基本操作,

2:C#中对正则表达式的各种常规操作,

3:正则表达式的使用技巧

4:常见的匹配类别

    匹配单个字符

    匹配多个字符

    匹配边界

    匹配子模式

    后向引用

    文本替换

    预查和非获取匹配

 

详细:

元字符(metacharacter)

正则引擎保留字符,作为一般字符匹配时需要转义

流派(flavor)

不同工具支持的元字符和特性各不相同,构成正则表达式的不同流派。

子表达式(subexpression)

括号内的表达式,常用于获取部分匹配结果

字符(character)

正则表达式的基本构成。需要注意不同编码下字符的意义不同,大多数工具只支持ascii编码的字节匹配,近来有部分工作支持unicode编码匹配。

简记字符(shorthands)

\t \n \r;  \s 与  \S, \w 与 \W, \d 与 \D

\b (\<与\>)

 

使用特定的语言(perl/java/c++)或工具(vim/grep)时需要关注的基本问题:

1. 支持的元字符号及特性

2. 工具的交互方式(如何操作,以及目标文本类型)

3. 正则引擎的类别  (NFA/DFA)

1.支持的元字符及特性

(1)POSIX 1986 将各种常见流派分为两大类

BREs Basic Regular Expressions (grep)

EREs Extented Regular Expressions (egrep)

现在两者的差异缩小, 基本差异为grep元字符需要转义 \? \+ \|

(2)常用元字符和特性 (枯燥,请翻书)

字符表示: \t \n

字符组表示: [a-z] [[:alpha:]] 

锚点: ^ $ \b

注释: (?#...)

分组、条件判断: (...) {min, max} + ?  

 

2. 不同工具的交互方式

(1)集成式 perl, awk, 修改直接在目标变量上进行,函数或对象式  java,.net, php, c++,  不修改目标变量,直接传回匹配结果。

(2)工具本身的字符串元字符不同,譬如 字符串"\\t" 传给正则引擎的是 "\t";

(3)对文本编码的支持。如 perl中^.$无法匹配"你"而必须使用^...$ , 而egrep 可以

(4)匹配模式。不区分大小写/是否忽略[]外的空白字符/是否支持. 匹配换行符

 

(3)正则引擎的分类

表达式主导的NFA(非确定有穷自动机)  (大多数非GNU版本的awk, egrep)和 文本主导的DFA(确定有穷自动机) (perl,php,java,.net)

相同的规则(最左最长规则 )

1. 优先选择最左端的匹配结果。如 a|b 匹配字符串'the b is before a', 匹配成功的是'b'

2. 标准量词优先匹配(? * + {min,max})。 greedy, 尽可能匹配多的字符。如^.*([0-9]+)匹配字符串'copyright 2011.' 时子表达式匹配的是 3

    但DFA取绝对最长,如one(self)?(oneselfsufficient)? 匹配 oneselfsufficient ,DFA匹配整各串, 传统型NFA 匹配oneself

    (| 不是标准量词,也往往是NFA和DFA的区分点 , 传统型NFA使用按序匹配)

不同的规则

1. 匹配方法。NFA只扫描一次表达式,DFA只扫描一次目标文本。to(nite|knight|night) 匹配 tonight, NFA的扫描是确定 to,然后nite, knight, night 依次尝试,即目标文本中的ni被扫描两次, 而DFA则同时纪录所有可能的匹配,同样的例子,扫描到目标文本toni 时,DFA引擎已经记录 to(ni,te | knight | ni,ght) 中两种可能匹配。

    注:这个差异意味这DFA的匹配时间复杂度取决于目标文本的大小,与正则表达式的写法无关。而NFA会多次扫描文本,不同正则表达式写法对匹配性能影响巨大。

2.NFA回溯的两个基本规则

   应该首先选择那个分支? 匹配优先量词(* + ? {min, max})优先选择尝试,忽略优先量词 (*? +? ?? {min, max}?) 优先选择放弃尝试。[真变态啊!:-(] 

   匹配失败后应该选择哪个候选分支? 最后存储的 

   sample: ab?c 匹配 abX

 “|"的顺序匹配陷阱

使用 (0?[1-9] | [12][0-9] | 3[01])匹配 Jan 31

why NFA?

NFA编译时间更快,需要的内存更少

NFA提供反向引用,环视,非优先匹配量词,固化分组

 

“正则表达式”描述在搜索文本正文时要匹配的一个或多个字符串。该表达式可用作一个将字符模式与要搜索的字符串相匹配的模板。

正则表达式包括普通字符(例如,a 到 z 之间的字母)和特殊字符(称为“元字符”)。

特殊字符

下表包含了单字符元字符的列表以及它们在正则表达式中的行为。

说明说明

若要匹配这些特殊字符之一,必须首先转义字符,即,在字符前面加反斜杠字符 (\)。例如,若要搜索“+”文本字符,可使用表达式“\+”。

元字符

行为

示例

*

零次或多次匹配前面的字符或子表达式。

等效于 {0,}

zo* 与“z”和“zoo”匹配。

+

一次或多次匹配前面的字符或子表达式。

等效于 {1,}

zo+ 与“zo”和“zoo”匹配,但与“z”不匹配。

?

零次或一次匹配前面的字符或子表达式。

等效于 {0,1}

当 ?紧随任何其他限定符(*、+、?、{n}、{n,} 或 {n,m})之后时,匹配模式是非贪婪的。非贪婪模式匹配搜索到的、尽可能少的字符串,而默认的贪婪模式匹配搜索到的、尽可能多的字符串。

zo? 与“z”和“zo”匹配,但与“zoo”不匹配。

o+? 只与“oooo”中的单个“o”匹配,而 o+ 与所有“o”匹配。

do(es)? 与“do”或“does”中的“do”匹配。

^

匹配搜索字符串开始的位置。如果标志中包括 m(多行搜索)字符,^ 还将匹配 \n 或 \r 后面的位置。

如果将 ^ 用作括号表达式中的第一个字符,则会对字符集求反。

^\d{3} 与搜索字符串开始处的 3 个数字匹配。

[^abc] 与除 a、b 和 c 以外的任何字符匹配。

$

匹配搜索字符串结尾的位置。如果标志中包括 m(多行搜索)字符,^ 还将匹配 \n 或 \r 前面的位置。

\d{3}$ 与搜索字符串结尾处的 3 个数字匹配。

.

匹配除换行符 \n 之外的任何单个字符。若要匹配包括 \n 在内的任意字符,请使用诸如 [\s\S] 之类的模式。

a.c 与“abc”、“a1c”和“a-c”匹配。

[]

标记括号表达式的开始和结尾。

[1-4] 与“1”、“2”、“3”或“4”匹配。[^aAeEiIoOuU] 与任何非元音字符匹配。

{}

标记限定符表达式的开始和结尾。

a{2,3} 与“aa”和“aaa”匹配。

()

标记子表达式的开始和结尾。可以保存子表达式以备将来之用。

A(\d) 与“A0”至“A9”匹配。保存该数字以备将来之用。

|

指示在两个或多个项之间进行选择。

z|food 与“z”或“food”匹配。(z|f)ood 与“zood”或“food”匹配。

/

表示 JScript 中的文本正则表达式模式的开始或结尾。在第二个“/”后添加单字符标志可以指定搜索行为。

/abc/gi 是与“abc”匹配的 JScript 文本正则表达式。g(全局)标志指定查找模式的所有匹配项,i(忽略大小写)标志使搜索不区分大小写。

\

将下一字符标记为特殊字符、文本、反向引用或八进制转义符。

\n 与换行符匹配。\( 与“(”匹配。\\ 与“\”匹配。

大多数特殊字符在括号表达式内出现时失去它们的意义,并表示普通字符。有关更多信息,请参见匹配字符的列表中的“括号表达式中的字符”。

元字符

下表包含了多字符元字符的列表以及它们在正则表达式中的行为。

元字符

行为

示例

\b

与一个字边界匹配;即字与空格间的位置。

er\b 与“never”中的“er”匹配,但与“verb”中的“er”不匹配。

\B

非边界字匹配。

er\B 与“verb”中的“er”匹配,但与“never”中的“er”不匹配。

\d

数字字符匹配。

等效于 [0-9]

在搜索字符串“12 345”中,\d{2} 与“12”和“34”匹配。\d 与“1”、“2”、“3”、“4”和“5”匹配。

\D

非数字字符匹配。

等效于 [^0-9]

\D+ 与“abc123 def”中的“abc”和“def”匹配。

\w

与以下任意字符匹配:A-Z、a-z、0-9 和下划线。

等效于 [A-Za-z0-9_]

在搜索字符串“The quick brown fox…”中,\w+ 与“The”、“quick”、“brown”和“fox”匹配。

\W

与除 A-Z、a-z、0-9 和下划线以外的任意字符匹配。

等效于 [^A-Za-z0-9_]

在搜索字符串“The quick brown fox…”中,\W+ 与“…”和所有空格匹配。

[xyz]

字符集。与任何一个指定字符匹配。

[abc] 与“plain”中的“a”匹配。

[^xyz]

反向字符集。与未指定的任何字符匹配。

[^abc] 与“plain”中的“p”、“l”、“i”和“n”匹配。

[a-z]

字符范围。匹配指定范围内的任何字符。

[a-z] 与“a”到“z”范围内的任何小写字母字符匹配。

[^a-z]

反向字符范围。与不在指定范围内的任何字符匹配。

[^a-z] 与不在范围“a”到“z”内的任何字符匹配。

{n}

正好匹配 n 次。n 是非负整数。

o{2} 与“Bob”中的“o”不匹配,但与“food”中的两个“o”匹配。

{n,}

至少匹配 n 次。n 是非负整数。

*{0,} 相等。

+{1,} 相等。

o{2,} 与“Bob”中的“o”不匹配,但与“foooood”中的所有“o”匹配。

{n,m}

匹配至少 n 次,至多 m 次。nm 是非负整数,其中 n <= m逗号和数字之间不能有空格。

?{0,1} 相等。

在搜索字符串“1234567”中,\d{1,3} 与“123”、“456”和“7”匹配。

(模式)

模式 匹配并保存匹配项。您可以从由 JScript 中的 exec Method返回的数组元素中检索保存的匹配项。若要匹配括号字符 ( ),请使用“\(”或者“\)”。

(Chapter|Section) [1-9] 与“Chapter 5”匹配,保存“Chapter”以备将来之用。

(?:模式)

模式 匹配,但不保存匹配项;即不会存储匹配项以备将来之用。这对于用“or”字符 (|) 组合模式部件的情况很有用。

industr(?:y|ies)industry|industries 相等。

(?=模式)

积极的预测先行。找到一个匹配项后,将在匹配文本之前开始搜索下一个匹配项。不会保存匹配项以备将来之用。

^(?=.*\d).{4,8}$ 对密码应用以下限制:其长度必须介于 4 到 8 个字符之间,并且必须至少包含一个数字。

在该模式中,.*\d 查找后跟有数字的任意多个字符。对于搜索字符串“abc3qr”,这与“abc3”匹配。

从该匹配项之前(而不是之后)开始,.{4,8} 与包含 4-8 个字符的字符串匹配。这与“abc3qr”匹配。

^$ 指定搜索字符串的开始和结束位置。这将在搜索字符串包含匹配字符之外的任何字符时阻止匹配。

(?!模式)

消极的预测先行。匹配与模式 不匹配的搜索字符串。找到一个匹配项后,将在匹配文本之前开始搜索下一个匹配项。不会保存匹配项以备将来之用。

\b(?!th)\w+\b 与不以“th”开头的单词匹配。

在该模式中,\b 与一个字边界匹配。对于搜索字符串“ quick ”,这与第一个空格匹配。(?!th) 与非“th”字符串匹配。这与“qu”匹配。

从该匹配项开始,\w+ 与一个字匹配。这与“quick”匹配。

\cx

匹配 x 指示的控制字符。x 的值必须在 A-Z 或 a-z 范围内。如果不是这样,则假定 c 就是文本“c”字符本身。

\cM 与 Ctrl+M 或一个回车符匹配。

\xn

匹配 n,此处的 n 是一个十六进制转义码。十六进制转义码必须正好是两位数长。允许在正则表达式中使用 ASCII 代码。

\x41 与“A”匹配。\x041 等效于后跟有“1”的“\x04”(因为 n 必须正好是两位数)。

\num

匹配 num,此处的 num 是一个正整数。这是对已保存的匹配项的引用。

(.)\1 与两个连续的相同字符匹配。

\n

标识一个八进制转义码或反向引用。如果 \n 前面至少有 n 个捕获子表达式,那么 n 是反向引用。否则,如果 n 是八进制数 (0-7),那么 n 是八进制转义码。

(\d)\1 与两个连续的相同数字匹配。

\nm

标识一个八进制转义码或反向引用。如果 \nm 前面至少有 nm 个捕获子表达式,那么 nm 是反向引用。如果 \nm 前面至少有 n 个捕获子表达式,则 n 是反向引用,后面跟有文本 m如果上述情况都不存在,当 nm 是八进制数字 (0-7) 时,\nm 匹配八进制转义码 nm

\11 与制表符匹配。

\nml

n 是八进制数字 (0-3),ml 是八进制数字 (0-7) 时,匹配八进制转义码 nml

\011 与制表符匹配。

\un

匹配 n,其中 n 是以四位十六进制数表示的 Unicode 字符。

\u00A9 与版权符号 (©) 匹配。

非打印字符

下表包含表示非打印字符的转义序列。

字符

匹配

等效于

\f

换页符。

\x0c\cL

\n

换行符。

\x0a\cJ

\r

回车符。

\x0d\cM

\s

任何空白字符。其中包括空格、制表符和换页符。

[\f\n\r\t\v]

\S

任何非空白字符。

[^\f\n\r\t\v]

\t

Tab 字符。

\x09\cI

\v

垂直制表符。

\x0b\cK

优先级顺序

正则表达式的计算方式与算术表达式非常类似;即从左到右进行计算,并遵循优先级顺序。

下表按从高到低的顺序包含了正则表达式运算符的优先级顺序。

运算符

说明

\

转义符

(), (?:), (?=), []

括号和中括号

*、+、?、{n}、{n,}、{n,m}

限定符

^、$、\任何元字符

定位点和序列

|

替换

字符具有高于替换运算符的优先级,例如,允许“m|food”匹配“m”或“food”。

 

3:各种常用正则表达式

 

 

 

总结:感性认识(模糊匹配,边界匹配,表达式格式,匹配结果的控制[单次,集合],匹配原理)

基本概念:元字符属性的限定,元字符的模糊查找,匹配的原理,表达式分解的顺序

特殊字符:回车换行,空格,字符的转义,字符组匹配(字符区间),反义字符组,匹配特殊字符,匹配空字符,匹配多个字符

posted @ 2012-07-26 15:21  snowhumen  阅读(212)  评论(0编辑  收藏  举报