正则表达式基础知识
本文内容主要是对《正则表达式必知必会》书中内容的总结。 薄薄的书(100页左右),信息量却很大,非常适合正则表达式入门, 推荐!~~~
正则表达式测试小软件下载地址: http://www.forta.com/books/0672325667
正则表达式学习步骤:
1. 了解正则表达式概念及基本构造元素(本文目标);
2. 通过练习能够编写出准确的可读性较好的正则表达式,熟悉常用正则表达式;
3. 理解正则引擎的内部机制及实现,能够分析正则表达式的效率;
4. 能够编写效率更高的正则表达式(以准确性和可读性为前提);
5. 能够运用正则表达式去处理复杂的文本处理问题。
一、 概述
1. 正则表达式是一个字符序列,用来描述文本的模式结构的表达式,亦可看做一门“微型语言”。因此,尤其适用于文本处理。
2. 一个文本模式可能有多种正则表达式写法,有的简单清晰,有的快速但复杂,有的功能全面,有的兼容性好,要多多尝试加以权衡。
3. 正则表达式是“文本内匹配” , 比如,文本 shuqin1984 , 正则表达式 \d{4} 将在整个文本中匹配 1984 部分。
4. 正则表达式的准确性: 匹配期望的文本,同时不匹配不期望的文本。
比如, 匹配三位数,可使用\d{3},但这样会匹配001这样的数,准确的写法应是: [1-9]\d{2}
5. 匹配分析的思路最好采用“逐字符方式”。 比如 note 匹配一个n紧接着一个o紧接着一个t紧接着一个e, 而不是匹配单词"note".
二、 基本元素
1. 普通字符: 除 *, ? , \, (, ), [, ], -, . , +, ^, $, {, } , | , 以外的字符匹配它自身, 比如 a 匹配 a
2. 点号 . : 匹配任意不包括换行符的单个字符。比如, sa. 可匹配 sat, sa*, sa[ 等。
3. 字符组[characters] :匹配字符组中指定字符集合中的任意单个字符: 比如 [abc] 将匹配 a 或 b 或 c , ca[ptb] 将匹配 cap, cat 或 cab.
4. 排除性字符组[^characters] : 匹配字符组中指定字符集合之外的任意单个字符:
比如, [^abc] 将匹配除了 a,b,c 之外的任意单个字符。
ca[^ptb],将匹配 caX 的文本,除了 cap, cat, cab, 注意,这里是匹配一个非指定的字符,而不是不匹配。
5. 范围字符组: [char1-char2] 将匹配从char1 到 char2 之间的任意单个字符(按照ASCII编码).
比如, [a-z] 匹配任意小写字符; [A-Z] 匹配任意大写字符 ; [0-9] 匹配任意数字; [a-zA-Z0-9] 匹配任意大小写字符或数字
6. 特殊字符: 凡是在正则式中具有特殊含义的字符,要匹配字符本身(将其作为普通文本)都必须使用反斜线 \ 进行转义;
通常需要转义的字符有: . + * ? { } [ ] ( ) - \ ^ $ |
比如, 匹配 . 的正则式是 \. , 匹配 \ 的正则式是 \\ , 匹配 ( 的正则式是 \( ;
要匹配 (ab) 的正则表达式是 \(ab\) ; 要匹配 a? 的表达式是 a\? ; a? 将匹配空或单个a
7. 匹配空白字符: \f 换页 \n 换行 \r 回车 \t 制表符 \v 垂直制表符 \s 匹配任意空白符,包括上述任意一种
8. 字符类: <==> 等价于
\d <==> [0-9] 任意单个数字 \D <==> [^0-9] 任意单个的非数字字符
\w <==> [a-zA-Z0-9_] \W <==> [^a-zA-Z0-9_]
\s <==> [\f\n\r\t\v ] \S <==> [^\f\n\r\t\v ]
9. POSIX 字符类: 例如: [:digit:] <==> [0-9] ; [:alpha:] <==> [a-zA-Z] ; [:alnum:] <==> [a-zA-Z0-9]
具体应用时要再加一层括号,比如 TEST[[:digit:]] 匹配 TEST0 - TEST9
三、 匹配元素组合:下面 X, Y 都可以是一个子表达式
1. 顺序结构 XY: 匹配 X 后紧跟 Y 的文本,比如 [0-9][a-z] 匹配 数字后跟小写字母的文本, 7z, 0x 等, 但不匹配 ap, 77
2. 多选分支结构X|Y: 匹配 X 或者 Y ,比如 [0-9]|[a-z] 匹配数字或小写字母,相当于 [0-9a-z]。
X|Y 是一种多选分支结构,在构造复杂正则表达式中有重要作用。
3. 匹配量词:
匹配一个或多个 X : X+ ; 例如 s/d+ 匹配 s后跟至少一个数字, s9, s34, s235, ...
匹配零个或多个 X : X* ; 例如 s/d* 匹配 s后跟空或者至少一个数字, s, s9, s34, s235, ...
匹配零个或一个 X : X? ; 例如 https? 匹配 http 或 https
匹配恰好 m 个 X : X{m} ; 例如 s/d{4} 匹配 s0000, s1234, 但不匹配 s234, s23445
匹配至少 m 个 X : X{m,} ; 例如 s/d{2,} 匹配 s12, s123, 但不匹配 s1
匹配至少 m 个 但不超过 n 个X : X{m,n} ; 例如 s/d{2,4} , 匹配 s12, s123, s1234, 但不匹配 s1, s12345
4. 子表达式 (X): 将 X 作为一个子表达式,紧邻的匹配量词将作用于 X 整体,而不是 X 中的单个字符。
例如 (s\d){3} 匹配 s1s1s1 ,而不匹配 s111
5. 贪婪匹配: 默认匹配模式是“贪婪型匹配”,即匹配尽可能多的文本。例如, <B> You </B> make <B> me </B> lost.
正则式 <B>.*</B> 中的 .* 将 从 Y 前面的空格一直匹配到末尾的换行符之前,而不会在第一个</B>停下来。
6. 位置匹配:
[1] \b 单词边界 \B 非单词边界。
文本: The captain wore his cap and cape proudly as he sat listening to the recap of how his crew saved the men from a capsized vessel.
正则式: cap ; \bcap ; cap\b ;\bcap\b ;\Bcap ;cap\B ; \Bcap\B
[2] ^ 匹配文本起始 $ 匹配文本末尾
例如 ^[a-z]123 将匹配以小写字母开头后跟123的文本。匹配文本 a123 而不是 slh a123 。
[a-z]123$ 将匹配以小写字母后跟123结尾的文本。匹配文本 sss d123 而不是 sdf123dss 。
7. 捕获功能: 使用括号将一个子表达式匹配的文本进行捕获,后面可在模式或处理中对捕获的文本进行引用或处理。
((regex1)-(regex2))-(regex3) \n 引用被捕获的第 n 个文本; n 按左括号出现的顺序进行标识
\0 表示匹配的整个文本 \1 ref= ((regex1)-(regex2)) ; \2 ref= (regex1) ; \3 ref= (regex2) ; \4 ref= (regex3)
在替换文本时可以使用 $1, $2, $3, $4 分别引用 \1, \2, \3, \4 捕获的文本。
比如, (\d{3}) mygod(\1) 必须匹配 三位数字mygod三位数字 的模式, 并且,后面三位数字必须与前面三位数字完全相同。
8. 回溯引用: 相同匹配的概念, 匹配在多处出现的相同文本。
比如要匹配 <h1> hello </h1> 中的 <h1> ... </h1> , 使用正则式 <([Hh][1-6])>.*?<\1> ,
这里, \1 可以捕获 ([hH][1-6]) 所得到的结果,从而起到对应的效果,以免匹配到 <H1>23</h2> 的不合法文本。
文本: <H1> HELLO WORLD </H1> <H2> WA O </H2> <H3> YEAH </H2>
正则式: <[Hh][1-6]>.*?</[Hh][1-6]> <([Hh][1-6])>.*?<\1>
9. 前后查找: 更灵活的位置匹配
(?=right-regex) : 表示右边字符序列匹配 right-regex 的位置; (?<=left-regex) : 表示左边字符序列匹配 left-regex 的位置
(?!right-regex): 表示右边字符序列不匹配 right-regex 的位置; (?<!left-regex) : 表示左边字符序列不匹配 left-regex 的位置。
比如: 要匹配 scatter locate rocate 中 后面紧邻 e 的 cat,使用 cat(?=e), 注意,这里并不会捕获e,而是用e作为捕获 cat 的定位信息;
要匹配前面是 s 的cat, 使用 (?<=s)cat; 同样,这里并不会捕获s,而是将 s 作为捕获 cat 的定位信息。
文本: http://www.forta.com ; https://www.forta.com ; ftp://ftp.forta.com ; smtp://www.forta.com ctp://www.forta.com
正则式: ((https?)|(ftp))(?=:)
10. 条件匹配: 当满足某种条件时,才匹配某个模式。
?(back-ref)true-regex 表示,只有当 back-ref 存在时,才会匹配 true-regex;
?(back-ref)true-regex|false-regex 表示,若 back-ref 存在,匹配 true-regex; 若不存在,匹配 false-regex.
例如,要匹配 (123)456-7890 或 123-456-7890 ,而不匹配 (123)-456-7890, 123456-7890 , (123-456-7890 等,
这意味着,若123 由括号括住,则不跟 - ; 否则后面紧跟 - ; 正则表达式是: (\()?\d{3}(?(1)\)|-)\d{3}-\d{4}
(\()? 表示是否存在 ( , 这里用括号将 ( 作为子表达式,以便于后面回溯引用;
(?(1)\)|-) 表示,如果存在 ( ,则匹配 ) ,否则匹配 -
文本: (123)456-7890 123-456-7890 (123)-456-7890 123456-7890 (123-456-7890
正则式: \(?\d{3}\)?-?\d{3}-\d{4} (\()?\d{3}(?(1)\)|-)\d{3}-\d{4}
四、小结
以上所述就是构造正则表达式的基本知识。编写正则表达式的一个技巧是分而治之、逐步求精,先划分成若干子表达式分别调试成功,再组合起来。要掌握这样一个强大的文本工具,惟有勤加练习,勤于思考求精耳。