python中re模块的使用（正则表达式）
一、什么是正则表达式？
- 正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。
- 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
二、正则表达式的匹配规则
1.表示字符
- ·：匹配任意除换行符'\n'外的字符，但是在DOTALL模式中也可以匹配换行符'\n'
- \：转义字符，使后一个字符改变原来的意思，如果字符串中想匹配*，可以使用\*，也可以使用字符集[*]
- [...]：字符集，匹配字符集中列出的任意字符。字符可以逐个列出，也可以给出范围，比如[a-z]，[0-9]，第一个字符是^表示取反。所有特殊字符在字符集中都失去其原有的特殊含义。如果想使用']','-'或者'^'，可以在前面加上\，或者将]或者-放在首位，将^放在非首位
2.预定义字符集（可写在字符集[]中）
- \d：数字[0-9]
- \D：非数字[^0-9]
- \s：空白字符[<空格>，\t,\n,\r,\f,\v]
- \S：非空白字符[^\s]
- \w：单词字符[a-zA-Z0-9_]，在python3的re模块中，\w也能匹配上中文
- \W：非单词字符[^\w]
3.表示数量
- *：匹配前一个字符0次或无限次，即可有可无
- ?：匹配前一个字符出现0次或1次，即至多1次
- +：匹配前一个字符出现1次或者无限次，即至少有1次
- {m}：匹配前一个字符出现m次
- {m,}：匹配前一个字符至少出现m次
- {,n}：匹配前一个字符至多出现n次
- {m,n}：匹配前一个字符出现从m到n次
4.表示边界
- ^：匹配字符串开头。在多行模式中匹配每一行的开头
- $：匹配字符串结尾。在多行模式中匹配每一行的结尾
- \A：仅匹配字符串开头
- \Z：仅匹配字符串结尾
- \b：匹配单词边界，\w和\W之间
- \B：匹配非单词边界，[^\b]
5.匹配分组
- |：匹配左右任意一个表达式
- (...)：被括起来的表达式作为一个分组，从表达式左边开始，每遇到一个'('，编号+1。分组表达式作为一个整体，后面可接数量词。表达式中的|仅在该分组中有效
- (?P<name>)：分组，除了原有的编号以外，再给分组取一个别名
- (?P=name)：引用别名为name的分组匹配到的字符串
- \number：引用编号为number的分组匹配到的字符串
6.特殊构造(不作为分组)
- (?:...)：(...)的不分组版本，用于使用'|'或后面接上数量词，比如(?:[1-9]?\d|100)表示匹配数字0-100，(?:abc){2}表示匹配abcabc
- 零宽断言
- (?<=...)：之前的字符串需要匹配表达式，才能成功匹配
- 比如(?<=\d)a表示匹配前面是数字的a，如果想同时匹配多条，可以使用(xx|yy|zz)，需要注意里面字符长度需要固定，比如(?<=(no|non))a就会报错，但是可以同时写多个(?<=no)(?<=non)a，比如下同
- (?<!...)：之前的字符串需要不匹配表达式，才能成功匹配
- 比如(?<!\d)a表示匹配前面不是数字的a
- (?=...)：之后的字符串需要匹配表达式，才能成功匹配
- 比如a(?=\d)表示匹配后面是数字的a
- (?!...)：之后的字符串需要不匹配表达式，才能成功匹配
- 比如a(?!\d)表示匹配后面不是数字的a
- (?<=...)：之前的字符串需要匹配表达式，才能成功匹配
三、re模块
在 Python中，我们可以使用内置的 re 模块来使用正则表达式。与大多数编程语言相同，正则表达式里使用'\'作为转义字符，这就可能造成反斜杠困扰。Python里的原生字符串很好地解决了这个问题，只需要在字符串前面加上'r'前缀。
re模块的一般使用步骤：
-
使用
compile()函数将正则表达式的字符串形式编译为一个Pattern对象 -
通过
Pattern对象提供的一系列方法对文本进行匹配查找
1.compile函数
- compile 函数用于编译正则表达式，生成一个 Pattern 对象。必须传入的第一个参数是'规则字符串'，另外可以通过第二个参数(flags)来指定匹配模式。
- 常见的匹配模式：
- re.I(re.IGNORECASE): 忽略大小写
- re.M(MULTILINE): 多行模式，改变’^’和’$’的行为
- re.S(DOTALL): 点任意匹配模式，改变’.’的行为，可以匹配'\n'
import re # 将正则表达式编译成 Pattern对象，并指定匹配模式为点任意匹配模式 pattern = re.compile(r'\d+',re.S)
2.Pattern 对象的一些常用方法
-
match方法
- match 方法用于查找字符串的头部（也可以指定起始位置），它是一次匹配，只要找到了一个匹配的结果就返回，而不是查找所有匹配的结果。
- 它的一般使用形式如下：
match(string[, pos[, endpos]])
其中，string 是待匹配的字符串，pos 和 endpos 是可选参数，指定字符串的起始和终点位置，默认值分别是 0 和 len (字符串长度)。因此，当你不指定 pos 和 endpos 时，match 方法默认匹配字符串的头部。
- 当匹配成功时，返回一个 Match 对象，如果没有匹配上，则返回 None。
- Match对象常用的方法:
- group(group1, …)：用于获得一个或多个分组匹配的字符串，如果传入多个分组编号，则返回的结果为元组形式。当要获得整个匹配的子串时，可直接使用 group() 或 group(0)；
- groups()：获得所有分组匹配到的字符串所构成的元组
- start([group]) 方法用于获取分组匹配的子串在整个字符串中的起始位置（子串第一个字符的索引），参数默认值为 0；
- end([group]) 方法用于获取分组匹配的子串在整个字符串中的结束位置（子串最后一个字符的索引+1），参数默认值为 0；
- span([group]) 方法返回 (start(group), end(group))，获取分组匹配的子串在整个字符串中的起始和结束位置构成的元组。
- 通过一些例子来熟悉一下：
In [1]: import re In [2]: pattern = re.compile(r"(\w+) (\d+)") In [3]: m = pattern.match('hello 123') In [4]: m.group(1) Out[4]: 'hello' In [5]: m.group(1,2) Out[5]: ('hello', '123') In [6]: m.group() Out[6]: 'hello 123' In [7]: m.groups() Out[7]: ('hello', '123') In [8]: m.start(1) Out[8]: 0 In [9]: m.start(2) Out[9]: 6 In [10]: m.end(1) Out[10]: 5 In [11]: m.span(1) Out[11]: (0, 5) In [12]: m.span(2) Out[12]: (6, 9)
-
search方法
- search 方法用于查找字符串的任何位置，它也是一次匹配，只要找到了一个匹配的结果就返回，而不是查找所有匹配的结果
- 它的一般使用形式如下：
search(string[, pos[, endpos]])
其中，string 是待匹配的字符串，pos 和 endpos 是可选参数，指定字符串的起始和终点位置，默认值分别是 0 和 len (字符串长度)。
- 看看例子
>>> import re >>> pattern = re.compile('\d+') >>> m = pattern.search('one12twothree34four') # 这里如果使用 match 方法则不匹配 >>> m <_sre.SRE_Match object at 0x10cc03ac0> >>> m.group() '12' >>> m = pattern.search('one12twothree34four', 10, 30) # 指定字符串区间 >>> m <_sre.SRE_Match object at 0x10cc03b28> >>> m.group() '34' >>> m.span() (13, 15)
-
findall方法
- 上面的 match 和 search 方法都是一次匹配，只要找到了一个匹配的结果就返回。然而，在大多数时候，我们需要搜索整个字符串，获得所有匹配的结果。
- findall 方法的使用形式如下：
findall(string[, pos[, endpos]])
其中，string 是待匹配的字符串，pos 和 endpos 是可选参数，指定字符串的起始和终点位置，默认值分别是 0 和 len (字符串长度)。
- 在‘规则字符串’中，我们还可以通过分组()对匹配的结果做进一步筛选。
- findall 以列表形式返回全部能匹配的子串，如果没有匹配，则返回一个空列表。
- 在'规则字符串'中，还可以通过分组()对匹配的结果做进一步筛选。1个()，则直接返回分组取到的内容，如果有多个()，则以元组的形式显示，相当于match对象调用了groups（）方法。
- 看个例子：
In [1]: import re In [2]: pattern = re.compile(r'\d+hello\d+') In [3]: pattern.findall('100hello200world') #以列表的形式显示所有匹配到的内容 Out[3]: ['100hello200'] In [4]: pattern = re.compile(r'(\d+)hello\d+') In [5]: pattern.findall('100hello200world') #一个分组()，结果只显示匹配到的分组内容 Out[5]: ['100'] In [6]: pattern = re.compile(r'(\d+)hello(\d+)') In [7]: pattern.findall('100hello200world') #多个分组()，列表中以元组的形式显示所有分组内容，相当于match对象的groups（）方法 Out[7]: [('100', '200')] In [8]: pattern = re.compile(r'(\d+)helloworld(\d+)') In [9]: pattern.findall('100hello200world') #匹配失败，返回空列表 Out[9]: []
-
finditer方法
- finditer 方法的行为跟 findall 的行为类似，也是搜索整个字符串，获得所有匹配的结果。但它返回一个顺序访问每一个匹配结果（Match 对象）的迭代器。
- 举例：
In [1]: import re In [2]: pattern = re.compile(r"\d+") In [3]: iter = pattern.finditer('hello123world456 haha789') In [4]: iter Out[4]: <callable_iterator at 0x7fb824fe2a90> In [5]: for m in iter: ...: print(m.group()) ...: 123 456 789
-
split方法
- split 方法按照能够匹配的子串将字符串分割后返回列表
- 它的使用形式如下:
split(string[, maxsplit])
其中，maxsplit 用于指定最大分割次数，不指定将全部分割。
- 举个例子:
In [1]: import re In [2]: pattern = re.compile(r"[\d\s]") In [3]: pattern.split('hello1word2aaa bbb') Out[3]: ['hello', 'word', 'aaa', 'bbb'] In [4]: pattern.split('hello1word2aaa bbb',2) Out[4]: ['hello', 'word', 'aaa bbb']
-
sub方法
- sub 方法用于替换。
- 它的使用形式如下：
sub(repl, string[, count])
其中，repl 可以是字符串也可以是一个函数：
- 如果 repl 是字符串，则会使用 repl 去替换字符串每一个匹配的子串，并返回替换后的字符串，另外，repl 还可以使用 id 的形式来引用分组，但不能使用编号 0，注意repl应是带前缀'r'的原生字符串；
- 如果 repl 是函数，这个方法应当只接受一个参数（Match 对象），并返回一个字符串用于替换（返回的字符串中不能再引用分组）。
- count 用于指定最多替换次数，不指定时全部替换。
In [1]: import re In [2]: pattern = re.compile(r'\d+') In [3]: pattern.sub('100','hello20 world30')#将所有匹配到的数据替换成100 Out[3]: 'hello100 world100' In [4]: pattern.sub('100','hello20 world30',1)#只替换第一个数据为100 Out[4]: 'hello100 world30' In [5]: def add(temp): ...: '''将匹配到的数据加1''' ...: strNum = temp.group() ...: num = int(strNum)+1 ...: return str(num) In [6]: pattern.sub(add,'hello20 world30')#将所有匹配到的数据加1 Out[6]: 'hello21 world31' In [7]: pattern.sub(add,'hello20 world30',1)#只将匹配到的第一个数据加1 Out[7]: 'hello21 world30' In [8]: pattern = re.compile('(\d+) (\w+)') In [9]: pattern.sub(r'\2哈哈\1','123 abc 456 def')#使用原生字符串，成功引用分组匹配到的字符串 Out[9]: 'abc哈哈123 def哈哈456' In [10]: pattern.sub('\2哈哈\1','123 abc 456 def')#不使用原生字符串，未成功引用分组匹配到的字符串 Out[10]: '\x02哈哈\x01 \x02哈哈\x01'
四、贪婪模式与非贪婪模式
- 贪婪模式：在整个表达式匹配成功的前提下，尽可能多的匹配
- 非贪婪模式：在整个表达式匹配成功的前提下，尽可能少的匹配
- 在表示数量的"*","?","+","{m,n}"后面加上？，使贪婪模式变成非贪婪模式
In [1]: import re In [2]: pattern = re.compile(r'\d+') In [3]: pattern.match('123456789').group() Out[3]: '123456789' In [4]: pattern = re.compile(r'\d+?')#关闭贪婪模式 In [5]: pattern.match('123456789').group()#非贪婪模式下，+只匹配一个字符 Out[5]: '1' In [6]: pattern = re.compile(r'<div>.*</div>') In [7]: pattern.match('<div>test1</div>bb<div>test2</div>').group() Out[7]: '<div>test1</div>bb<div>test2</div>' In [8]: pattern = re.compile(r'<div>.*?</div>')#关闭贪婪模式 In [9]: pattern.match('<div>test1</div>bb<div>test2</div>').group() Out[9]: '<div>test1</div>'
五、匹配中文
- 在某些情况下，我们想匹配文本中的中文，我们可以利用中文的unicode编码范围主要在 [\u4e00-\u9fa5]来进行匹配，虽然这个范围并不完整，比如没有包括全角（中文）标点，但在大部分情况下应该已经够用了。
- 举个例子：
In [1]: import re In [2]: pattern = re.compile('[\u4e00-\u9fa5]+')#只匹配中文 In [3]: pattern.findall('hello你好world世界') Out[3]: ['你好', '世界']
