正则表达式
Regex 补充笔记
当前文章根据GitHub项目修改，查看原文请点击GitHub图标……
0、前言 正则表达式
正则表达式是用于"匹配"字符与符合组成的文本中的特殊子段。
正则表达式在匹配模式上是从左到右进行匹配，常用regex、regrexp表示。
如果在项目中需要匹配首字母大写的单词，则可以使用：
-
正则表达式初试
"^[A-Z]([a-z]+)"
1、字符串子串匹配
正则表达式其实就是在执行搜索时的格式，它由一些字母和数字组合而成。
如前言所示，正则表达式是大小写敏感的，对于匹配固定的某个子串，可以直接将这个子字符串作为表达式。
2、元字符
| 元字符 | 描述 |
|---|---|
| . | 句号匹配任意单个字符除了换行符。 |
| [ ] | 字符种类。匹配方括号内的任意字符。 |
| [^ ] | 否定的字符种类。匹配除了方括号里的任意字符。 |
| * | 匹配>=0个重复的在*号之前的字符。等价于 |
| + | 匹配前面的子表达式一次或多次，等价于{1，} 。 |
| ? | 标记?之前的字符为可选。匹配0次或者1次 |
| 匹配num个大括号之前的字符或字符集 (n <= num <= m)。 | |
| (xyz) | 字符集，匹配与 xyz 完全相等的字符串。 |
| | | 或运算符，匹配符号前或后的字符。 |
| \ | 转义字符,用于匹配一些保留的字符 [ ] ( ) { } . * + ? ^ $ \ |
| ^ | 从开始行开始匹配。 |
| $ | 从末端开始匹配。 |
常用表达式：
| 字符 | 描述 |
|---|---|
| \s | 匹配空白符的；包括空格，制表符(Tab)，换行符等 |
| \d | 反斜杠加d可以匹配数字；后边加数字{3}可以指定3个数字一起匹配 |
| \b | 表示单词的边界; re.findall(r'read\b','read app') 加r是取消字符串的转义 |
| \w | 匹配字母或数字或下划线或汉字等 |
| \. | 匹配点号本身，取消字符串的转义用r，取消正则的转义用来取消 |
\D、\S、\W、\B 是与小写的相反的作用
正则表达式主要依赖于元字符。 元字符不代表他们本身的字面意思，他们都有特殊的含义。
2.1 点运算符
.运算符匹配任意单个字符，但不匹配换行符。如：
".at" => The fat cat sat on the mat.
2.2 字符集
字符集也叫做字符类。方括号用来指定一个字符集。在方括号中使用连字符-来指定字符集的范围。在方括号中的字符集不关心顺序。
如：我们使用 [a-z]+匹配连续的小写字母。
注意：在中括号中的.就表示.本身。
2.2.1 否定字符集
一般来说 ^ 表示一个字符串的开头，但它用在一个方括号内的开头的时候，它表示这个字符集是否定的。
例如，表达式[^c]ar 匹配一个后面跟着ar的除了c的任意字符。
"[^c]ar" => The car parked in the garage.
2.3 重复匹配的次数
后面跟着元字符 +，* or ? 的，用来指定匹配子模式的次数。这些元字符在不同的情况下有着不同的意思。
2.3.1 *号
*号匹配 在*之前的字符出现大于等于0次。
例如，表达式 a* 匹配0或更多个以a开头的字符。表达式[a-z]* 匹配一个行中所有以小写字母开头的字符串。
关于上面的结果我们使用python的结果详细展示：
>>> import re
>>> a = "The fat cat sat on the mat"
>>> re.findall("[a-z]*", a)
['', 'he', '', 'fat', '', 'cat', '', 'sat', '', 'on', '', 'the', '', 'mat', '']
这里匹配到很多的空，在图片中就是粉红色的虚线！以第一个为例，单词为The T不是小写字母，但是*号允许匹配0个，所以第一个为空，而he fat中的he是小写字母，因为*是允许匹配任意个前面的模式，所以第二个匹配到he，这里我们注意空格是被看作特殊字符的。
*字符和.字符搭配可以匹配所有的字符.*。
*和表示匹配空格的符号\s连起来用，如表达式\s*cat\s*匹配0或更多个空格开头和0或更多个空格结尾的cat字符串。
2.3.2 +号
+号匹配+号之前的字符出现 >=1 次。
例如表达式c.+t 匹配以首字母c开头以t结尾，中间跟着至少一个字符的字符串。
"c.+t" => The fat cat sat on the mat.
2.3.3 ?号
在正则表达式中元字符 ? 标记在符号前面的字符为可选，即出现 0 或 1 次。
例如，表达式 [T]?he 匹配字符串 he 和 The。
"[T]he" => The car is parked in the garage.
"[T]?he" => The car is parked in the garage.
2.4 大括号{}
在正则表达式中 {} 是一个量词，常用来限定一个或一组字符可以重复出现的次数。
例如， 表达式 [0-9]{2,3} 匹配最少 2 位最多 3 位 0~9 的数字。
"[0-9]{2,3}" => The number was 9.9997 but we rounded it off to 10.0.
我们可以省略第二个参数。
例如，[0-9]{2,} 匹配至少两位 0~9 的数字。
"[0-9]{2,}" => The number was 9.9997 but we rounded it off to 10.0.
如果逗号也省略掉则表示重复固定的次数。
例如，[0-9]{3} 匹配3位数字
"[0-9]{3}" => The number was 9.9997 but we rounded it off to 10.0.
2.5 小括号(…)
特征标群是一组写在 (...) 中的子模式。(...) 中包含的内容将会被看成一个整体，和数学中小括号（ ）的作用相同。例如, 表达式 (ab)* 匹配连续出现 0 或更多个 ab。如果没有使用 (...) ，那么表达式 ab* 将匹配a后面连续出现 0 或更多个 b 。再比如之前说的 {} 是用来表示前面一个字符出现指定次数。但如果在 {} 前加上特征标群 (...) 则表示整个标群内的字符重复 N 次。
我们还可以在 () 中用或字符 | 表示或。例如，(c|g|p)ar 匹配 car 或 gar 或 par.
"(c|g|p)ar" => The car is parked in the garage.
我们使用()进行模型匹配：
>>> a = "catxxcatxxxcat cat a all cat xx"
>>> re.findall(r"cat(x)?", a)
['x', 'x', '', '', '']
注意这里取的是小括号里面的值！
如果我们想在cat后接任意个box，将这个组合匹配怎么用python库re解决呢？在正则表达式中可以将(…)作为一个整体，而re中只会匹配括号中的内容，小括号实现了[零宽度断言（前后预查）](#4. 零宽度断言（前后预查）)的效果。
2.5.1 实现普通字符与特征标群联合匹配
cat后接任意多个box的伪实现
>>> import re
>>> a = "catbox catboxboxall ie a cat."
>>> re.findall(r"cat(box){1,}", a)
['box', 'box']
>>> re.findall(r"cat[(box)]+", a)
['catbox', 'catboxbox']
>>> re.findall(r"cat[(box)]+", b)
['catbox', 'catb', 'catboxboxboxx']
上面的代码可以看出，使用[]组并不能实现想要的效果！
实现cat后接任意多个box
这里使用re库，不能通过re.findall()实现这个功能，我们可以使用re.search()实现。
>>> re.search(r"cat(box)?",a)
<re.Match object; span=(0, 6), match='catbox'>
>>> re.search(r"cat(box)+",a)
<re.Match object; span=(0, 6), match='catbox'>
>>> re.search(r"cat(box)*",a)
<re.Match object; span=(0, 6), match='catbox'>
----------------------------------------------------
>>> finditer = re.finditer(r"cat(box)*",a)
>>> for i in finditer:
... print(i)
... print(i.group())
... print(i.start())
... print(i.end())
... print(i.span())
...
<re.Match object; span=(0, 6), match='catbox'>
catbox
0
6
(0, 6)
<re.Match object; span=(7, 16), match='catboxbox'>
catboxbox
7
16
(7, 16)
<re.Match object; span=(25, 28), match='cat'>
cat
25
28
(25, 28)
2.6 | 或运算符
或运算符就表示或，用作判断条件。
例如 (T|t)he|car 匹配 (T|t)he 或 car。
"(T|t)he|car" => The car is parked in the garage.
2.7 转码特殊字符
反斜线 \ 在表达式中用于转码紧跟其后的字符。用于指定 { } [ ] / \ + * . $ ^ | ? 这些特殊字符。如果想要匹配这些特殊字符则要在其前面加上反斜线 \。
例如 . 是用来匹配除换行符外的所有字符的。如果想要匹配句子中的 . 则要写成 \. 以下这个例子 \.?是选择性匹配.
"(f|c|m)at\.?" => The fat cat sat on the mat.
2.8 锚点
在正则表达式中，想要匹配指定开头或结尾的字符串就要使用到锚点。^ 指定开头，$ 指定结尾。
2.8.1 ^ 号
^ 用来检查匹配的字符串是否在所匹配字符串的开头。
例如，在 abc 中使用表达式 ^a 会得到结果 a。但如果使用 ^b 将匹配不到任何结果。因为在字符串 abc 中并不是以 b 开头。
例如，^(T|t)he 匹配以 The 或 the 开头的字符串。
"(T|t)he" => The car is parked in the garage.
"^(T|t)he" => The car is parked in the garage.
2.8.2 $ 号
同理于 ^ 号，$ 号用来匹配字符是否是最后一个。
例如，(at\.)$ 匹配以 at. 结尾的字符串。
"(at\.)" => The fat cat. sat. on the mat.
"(at\.)$" => The fat cat. sat. on the mat.
3、简写字符集
正则表达式提供一些常用的字符集简写。如下:
| 简写 | 描述 |
|---|---|
| . | 除换行符外的所有字符 |
| \w | 匹配所有文字符号，包括中英文、日语、韩语等，等同于 [a-zA-Z0-9_] |
| \W | 匹配所有非字母数字，即符号，等同于： [^\w] |
| \d | 匹配数字： [0-9] |
| \D | 匹配非数字： [^\d] |
| \s | 匹配所有空格字符，等同于： [\t\n\f\r\p{Z}] |
| \S | 匹配所有非空格字符： [^\s] |
| \f | 匹配一个换页符 |
| \n | 匹配一个换行符 |
| \r | 匹配一个回车符 |
| \t | 匹配一个制表符 |
| \v | 匹配一个垂直制表符 |
| \p | 匹配 CR/LF（等同于 \r\n），用来匹配 DOS 行终止符 |
3.1 \w测试
>>> import re
>>> a = "这里是elfin的688直播间，欢迎大家@all.测试にほんご、한국어。"
>>> re.findall(r"\w+", a)
['这里是elfin的688直播间', '欢迎大家', 'all', '测试にほんご', '한국어']
这里的中英文标点符号都没有匹配！
4. 零宽度断言（前后预查）
先行断言和后发断言都属于非捕获簇（不捕获文本 ，也不针对组合计进行计数）。
先行断言用于判断所匹配的格式是否在另一个确定的格式之前，匹配结果不包含该确定格式（仅作为约束）。
例如，我们想要获得所有跟在 $ 符号后的数字，我们可以使用正后发断言 (?<=\$)[0-9\.]*。
这个表达式匹配 $ 开头，之后跟着 0,1,2,3,4,5,6,7,8,9,. 这些字符可以出现大于等于 0 次。
零宽度断言如下：
| 符号 | 描述 |
|---|---|
| ?= | 正先行断言-存在 |
| ?! | 负先行断言-排除 |
| ?<= | 正后发断言-存在 |
| ?<! | 负后发断言-排除 |
4.1 ?=... 正先行断言
?=... 正先行断言，表示第一部分表达式之后必须跟着 ?=...定义的表达式。
返回结果只包含满足匹配条件的第一部分表达式。
定义一个正先行断言要使用 ()。在括号内部使用一个问号和等号： (?=...)。
正先行断言的内容写在括号中的等号后面。
例如，表达式 (T|t)he(?=\sfat) 匹配 The 和 the，在括号中我们又定义了正先行断言 (?=\sfat) ，即 The 和 the 后面紧跟着 (空格)fat。
"(T|t)he(?=\sfat)" => The fat cat sat on the mat.
4.2 ?!... 负先行断言
负先行断言 ?! 用于筛选所有匹配结果，筛选条件为 其后不跟随着断言中定义的格式。
正先行断言 定义和 负先行断言 一样，区别就是 = 替换成 ! 也就是 (?!...)。
表达式 (T|t)he(?!\sfat) 匹配 The 和 the，且其后不跟着 (空格)fat。
"(T|t)he(?!\sfat)" => The fat cat sat on the mat.
4.3 ?<= ... 正后发断言
正后发断言 记作(?<=...) 用于筛选所有匹配结果，筛选条件为 其前跟随着断言中定义的格式。
例如，表达式 (?<=(T|t)he\s)(fat|mat) 匹配 fat 和 mat，且其前跟着 The 或 the。
"(?<=(T|t)he\s)(fat|mat)" => The fat cat sat on the mat.
4.4 ?<!... 负后发断言
负后发断言 记作 (?<!...) 用于筛选所有匹配结果，筛选条件为 其前不跟随着断言中定义的格式。
例如，表达式 (?<!(T|t)he\s)(cat) 匹配 cat，且其前不跟着 The 或 the。
"(?<!(T|t)he\s)(cat)" => The cat sat on cat.
5. 标志
标志也叫模式修正符，因为它可以用来修改表达式的搜索结果。
这些标志可以任意的组合使用，它也是整个正则表达式的一部分。
| 标志 | 描述 |
|---|---|
| i | 忽略大小写。 |
| g | 全局搜索。 |
| m | 多行修饰符：使锚点元字符 ^ $ 工作范围在每行的起始。 |
5.1 忽略大小写 (Case Insensitive)
修饰语 i 用于忽略大小写。
例如，表达式 r"the"gi 表示在全局搜索 the，在后面的 i 将其条件修改为忽略大小写，则变成搜索 the 和 The，g 表示全局搜索。
>>> import re
>>> a = "The car is parked in the garage."
>>> re.findall(r"the", a)
['the']
>>> re.findall(r"the", a, re.I)
['The', 'the']
注意在python中我们常使用re库进行正则
5.2 全局搜索 (Global search)
修饰符 g 常用于执行一个全局搜索匹配，即（不仅仅返回第一个匹配的，而是返回全部）。
例如，表达式 r"(.at)"gi 表示搜索 任意字符（除了换行）+ at，并返回全部结果。
g在python中我们使用re.findall()实现全局搜索。具体可参考上一节的代码！
5.3 多行修饰符 (Multiline)
多行修饰符 m 常用于执行一个多行匹配。
像之前介绍的 (^,$) 用于检查格式是否是在待检测字符串的开头或结尾。但我们如果想要它在每行的开头和结尾生效，我们需要用到多行修饰符 m。
例如，表达式 /at(.)?$/gm 表示小写字符 a 后跟小写字符 t ，末尾可选除换行符外任意字符。根据 m 修饰符，现在表达式匹配每行的结尾。
>>> import re
>>> a = 'The fat \n cat sat \n on the mat.'
>>> re.findall(r".at.$", a)
['mat.']
>>> re.findall(r".at.?$", a)
['mat.']
>>> re.findall(r".at.?$", a, re.M)
['fat ', 'sat ', 'mat.']
>>> re.findall(r".at(.)?$", a, re.M)
[' ', ' ', '.']
# 注意在re库中，使用re.findall(r".at(.)?$", a, re.M)不能正常匹配到数据！
关于小括号请参考[2.5 小括号(…)](#2.5 小括号(…))
6、贪婪匹配与惰性匹配 (Greedy vs lazy matching)
正则表达式默认采用贪婪匹配模式，在该模式下意味着会匹配尽可能长的子串。我们可以使用 ? 将贪婪匹配模式转化为惰性匹配模式。
具体参考：re模块
7、re模块的函数使用案例
见：re模块
