Python3标准库(二) re模块
正则表达式(Regular Expression)是字符串处理的常用工具,通常被用来检索、替换那些符合某个模式(Pattern)的文本。很多程序设计语言都支持正则表达式,像Perl、Java、C/C++。在 Python 中是通过标准库中的re 模块 提供对正则的支持。
一、正则表达式介绍
在使用 re 模块之前,先来了解一下正则表达式的基本语法。
1)用途
通过使用正则表达式,可以:
-
测试字符串内的模式。—— 例如,可以测试输入字符串,以查看字符串内是否出现电话号码模式或信用卡号码模式。这称为数据验证。
-
替换文本。—— 可以使用正则表达式来识别文档中的特定文本,完全删除该文本或者用其他文本替换它。
-
基于模式匹配从字符串中提取子字符串。—— 可以查找文档内或输入域内特定的文本。
2)语法
本文主要介绍正则的基本语法以及 re 模块的使用,不包括如何编写高效的正则表达式、如何优化正则表达式,这些主题请看其他教程。
下图列出了Python支持的一些正则表达式元字符和语法:
3)贪婪模式与非贪婪模式
“贪婪模式”总是尝试匹配尽可能多的字符;“非贪婪模式”则相反,总是匹配尽可能少的字符。例如,用"ab*"如果用于查找"abbbc",将找到"abbb"。而如果使用非贪婪的数量词"ab*?",将找到"a"。
二、使用 re 模块
下面我们开始来使用 re 模块。
1)编译正则表达式
re 模块提供了 re.compile() 函数将一个字符串编译成 pattern object,用于匹配或搜索。函数原型如下:
re.compile(pattern, flags=0)re.compile() 还接受一个可选的参数 flag,用于指定正则匹配的模式。关于匹配模式,后面将会讲到。
p = re.compile('ab*', re.IGNORECASE)
2)反斜杠的困扰
在 python 的字符串中,\ 是被当做转义字符的。在正则表达式中,\ 也是被当做转义字符。这就导致了一个问题:如果你要匹配 \ 字符串,那么传递给 re.compile() 的字符串必须是"\\\\"。
由于字符串的转义,所以实际传递给 re.compile() 的是"\\",然后再通过正则表达式的转义,"\\" 会匹配到字符"\"。这样虽然可以正确匹配到字符 \,但是很麻烦,而且容易漏写反斜杠而导致 Bug。那么有什么好的解决方案呢?
原始字符串很好的解决了这个问题,通过在字符串前面添加一个r,表示原始字符串,不让字符串的反斜杠发生转义。那么就可以使用r"\\"
来匹配字符\
了。
3)pattern object 执行匹配
一旦你编译得到了一个 pattern object,你就可以使用 pattern object 的方法或属性进行匹配了,下面列举几个常用的方法,更多请看这里。
regex.match(string[, pos[, endpos]])
:
- 匹配从 pos 到 endpos 的字符子串的开头。匹配成功返回一个 match object,不匹配返回 None。
- pos 的默认值是0,endpos 的默认值是 len(string),所以默认情况下是匹配整个字符串的开头。
import re pattern = re.compile("ar{1}") print(pattern.match("army")) # "ar"在开头,匹配成功 print(pattern.match("mary")) # "ar"不在开头,匹配失败 print(pattern.match("mary", 1)) # "ar"不在开头,但在子串的开头 # 输出结果: # <_sre.SRE_Match object; span=(0, 2), match='ar'> # None # <_sre.SRE_Match object; span=(1, 3), match='ar'>
regex.search(string[, pos[, endpos]])
:
- 扫描整个字符串,并返回它找到的第一个匹配(Match object)。
- 和 regex.match() 一样,可以通过 pos 和 endpos 指定范围。
pattern = re.compile("ar{1}") match = pattern.search("mary") # search print(match) # 输出结果: # <_sre.SRE_Match object; span=(1, 3), match='ar'>
regex.findall(string[, pos[, endpos]])
:
- 找到所有匹配的子串,并返回一个 list 。
- 可选参数 pos 和 endpos 和上面一样。
pattern = re.compile(r"\d+") lst = pattern.findall("abc1def2rst3xyz") # findall print(lst) # 输出结果: # ['1', '2', '3']
regex.finditer(string[, pos[, endpos]])
:
- 找到所有匹配的子串,并返回由这些匹配结果(match object)组成的迭代器。
- 可选参数 pos 和 endpos 和上面一样。
pattern = re.compile(r"\d+") p = pattern.finditer("abc1def2rst3xyz") for i in p: print(i) # 输出结果: # <_sre.SRE_Match object; span=(3, 4), match='1'> # <_sre.SRE_Match object; span=(7, 8), match='2'> # <_sre.SRE_Match object; span=(11, 12), match='3'>
4)match object 获取结果
在上面讲到,通过 pattern object 的方法(除 findall 外)进行匹配得到的返回结果都是 match object。每一个 match object 都包含了匹配到的相关信息,比如,起始位置、匹配到的子串。那么,我们如何从 match object 中提取这些信息呢?
match object 提供了一些方法,下面列举几个常用的方法,更多请看这里。
- 返回 match object 中的字符串。
- 每一个 ( ) 都是一个分组,分组编号从1开始,从左往右,每遇到一个左括号,分组编号+1。
- 组 0 总是存在的,它就是整个表达式 。
- 没有参数时,group1默认为0,这时返回整个匹配到的字符串。
- 指定一个参数(整数)时,返回该分组匹配到的字符串。
- 指定多个参数时,返回由那几个分组匹配到的字符串组成的 tuple。
pattern = re.compile(r"(\w+) (\w+)") m = pattern.match("Kobe Bryant, Lakers") print(m) # <_sre.SRE_Match object; span=(0, 11), match='Kobe Bryant'> print(m.group()) # Kobe Bryant print(m.group(1)) # Kobe print(m.group(2)) # Bryant print(m.group(1, 2)) # ('Kobe', 'Bryant')
- 返回由所有分组匹配到的字符串组成的 tuple。
>>> m = re.match(r"(\d+)\.(\d+)", "24.1632") >>> m.groups() ('24', '1632')
- 没有参数时,返回匹配到的字符串的起始位置。
- 指定参数(整数)时,返回该分组匹配到的字符串的起始位置。
pattern = re.compile(r"(\w+) (\w+)") m = pattern.match("Kobe Bryant, Lakers") print(m.start()) # 0 print(m.start(2)) # 5
- 没有参数时,返回匹配到的字符串的结束位置。
- 指定参数(整数)时,返回该分组匹配到的字符串的结束位置。
pattern = re.compile(r"(\w+) (\w+)") m = pattern.match("Kobe Bryant, Lakers") print(m.end()) # 11 print(m.end(1)) # 4
- 返回一个二元 tuple 表示匹配到的字符串的范围,即 (start, end)。
- 指定参数时,返回该分组匹配到的字符串的 (start, end)。
pattern = re.compile(r"(\w+) (\w+)") m = pattern.match("Kobe Bryant, Lakers") print(m.span()) # (0, 11) print(m.span(2)) # (5, 11)
5)模块级别的函数
上面讲到的函数都是对象的方法,要使用它们必须先得到相应的对象。本节将介绍一些Module-Level Functions,比如 match(),search(),findall() 等等。你不需要创建一个 pattern object 就可以直接调用这些函数。
re.compile(pattern, flags=0)
:上面已经介绍过。
re.match(pattern, string, flags=0)
:
pattern = re.compile(r"(\w+) (\w+)") m = pattern.match("Kobe Bryant, Lakers") # 相当于 m = re.match(r"(\w+) (\w+)","Kobe Bryant, Lakers")
re.search(pattern, string, flags=0)
:
pattern = re.compile(r"(\w+) (\w+)") m = pattern.search("Kobe Bryant, Lakers") # 相当于 m = re.search(r"(\w+) (\w+)","Kobe Bryant, Lakers")
re.findall(pattern, string, flags=0)
:与上面类似。
re.finditer(pattern, string, flags=0)
:与上面类似。
6)编译标志(匹配模式)
在讲 re.compile() 函数时,曾说到该函数还接受可选的第二个参数,用以设置匹配模式。可选的匹配模式有:
-
re.IGNORECASE:忽略大小写,同 re.I。
-
re.MULTILINE:多行模式,改变^和$的行为,同 re.M。
-
re.DOTALL:点任意匹配模式,让'.'可以匹配包括'\n'在内的任意字符,同 re.S。
-
re.LOCALE:使预定字符类 \w \W \b \B \s \S 取决于当前区域设定, 同 re.L。
-
re.ASCII:使 \w \W \b \B \s \S 只匹配 ASCII 字符,而不是 Unicode 字符,同 re.A。
-
re.VERBOSE:详细模式。这个模式下正则表达式可以是多行,忽略空白字符,并可以加入注释。主要是为了让正则表达式更易读,同re.X。例如,以下两个正则表达式是等价的:
a = re.compile(r"""\d + # the integral part \. # the decimal point \d * # some fractional digits""", re.X) b = re.compile(r"\d+\.\d*")
三、修改字符串
第二部分讲的是字符串的匹配和搜索,但是并没有改变字符串。下面就讲一下可以改变字符串的操作。
1)分割字符串
split()
函数在匹配的地方将字符串分割,并返回一个 list。同样的,re 模块提供了两种 split 函数,一个是 pattern object 的方法,一个是模块级的函数。
regex.split(string, maxsplit=0)
:
- maxsplit用于指定最大分割次数,不指定将全部分割。
pattern = re.compile(r"[A-Z]+") m = pattern.split("abcDefgHijkLmnoPqrs") print(m) # 输出结果: # ['abc', 'efg', 'ijk', 'mno', 'qrs']
re.split(pattern, string, maxsplit=0, flags=0)
:
- 模块级函数,功能与 regex.split() 相同。
- flags用于指定匹配模式。
m = re.split(r"[A-Z]+","abcDefgHijkLmnoPqrs") print(m) # 输出结果: # ['abc', 'efg', 'ijk', 'mno', 'qrs']
2)搜索与替换
另一个常用的功能是找到所有的匹配,并把它们用不同的字符串替换。re 模块提供了sub()
和subn()
来实现替换的功能,而它们也分别有自己两个不同版本的函数。
regex.sub(repl, string, count=0)
:
- 使用 repl 替换 string 中每一个匹配的子串,返回替换后的字符串。若找不到匹配,则返回原字符串。
- repl 可以是一个字符串,也可以是一个函数。
- 当repl是一个字符串时,任何在其中的反斜杠都会被处理。
- 当repl是一个函数时,这个函数应当只接受一个参数(Match对象),并返回一个字符串用于替换。
- count 用于指定最多替换次数,不指定时全部替换。
def fun(m): return m.group().upper() pattern = re.compile(r"like", re.I) s1 = pattern.sub(r"love", "I like you, do you like me?") s2 = pattern.sub(fun, "I like you, do you like me?") print(s1) print(s2) # 输出结果: # I love you, do you love me? # I LIKE you, do you LIKE me?
re.sub(pattern, repl, string, count=0, flags=0)
:
- 模块级函数,与 regex.sub() 函数功能相同。
- flags 用于指定匹配模式。
regex.subn(repl, string, count=0)
:
- 同 sub(),只不过返回值是一个二元 tuple,即
(sub函数返回值, 替换次数)
。
re.subn(pattern, repl, string, count=0, flags=0)
:
- 模块级函数,功能同 regex.subn()。