Python的regex模块——更强大的正则表达式引擎
Python自带了正则表达式引擎(内置的re模块),但是不支持一些高级特性,比如下面这几个:
- 固化分组 Atomic grouping
- 占有优先量词 Possessive quantifiers
- 可变长度的逆序环视 Variable-length lookbehind
- 递归匹配 Recursive patterns
- (起始/继续)位置锚\G Search anchor
幸好,在2009年,Matthew Barnett写了一个更强大正则表达式引擎——regex模块,这是一个Python的第三方模块。
除了上面这几个高级特性,还有很多有趣、有用的东西,本文大致介绍一下,很多内容取自regex的文档。
无论是编程还是文本处理,regex模块都是一件利器。
用一个指标可以大致了解它的复杂性,re模块有4270行C语言代码,而regex模块有24513行C语言代码。
这个模块以后可能被收进Python标准库。目前(2015年)它还在不断发展,经常发布bug修正版,不过感觉用在一般生产环境应该没什么问题。
目录
一、安装regex
二、一些有趣的特性
三、模糊匹配
四、两种工作模式
五、Version 0模式和re模块不兼容之处
一、安装regex
regex支持Python 2.5+和Python 3.1+,可以用pip命令安装:
pip install regex
PyPy 2.6+也可以使用这个模块。
regex基本兼容re模块,现有的程序可以很容易切换到regex模块:
import regex as re
二、一些有趣的特性
完整的Unicode支持
1,支持最新的Unicode标准,这一点经常比Python本身还及时。
2,支持Unicode代码属性,包括scripts和blocks。
如:\p{Cyrillic}表示西里尔字符(scripts),\p{InCyrillic}表示西里尔区块(blocks)。
3,支持完整的Unicode字符大小写匹配,详见此文。
如:ss可匹配ß;cliff(这里的ff是一个字符)可匹配CLIFF(FF是两个字符)。
不需要的话可以关闭此特性。不支持Unicode组合字符与单一字符的大小写匹配,所以感觉这个特性不太实用。
4,regex.WORD标志开启后:
作用1:\b、\B采用Unicode的分界规则,详见此文。
如:开启后\b.+?\b可搜索到3.4;关闭后小数点.成为分界符,于是只能搜到['3', '.', '4']。
作用2:采用Unicode的换行符。除了传统的\r、\n,Unicode还有一些换行符,开启后作用于.MULTILINE和.DOTALL模式。
5,\X匹配Unicode的单个字形(grapheme)。
Unicode有时用多个字符组合在一起表示一个字形,详见此文。
\X匹配一个字形,如:^\X$可以匹配'\u0041\u0308'。
单词起始位置、单词结束位置
\b是单词分界位置,但不能区分是起始还是结束位置。
regex用\m表示单词起始位置,用\M表示单词结束位置。
(?|...|...)
重置分支匹配中的捕获组编号。
>>> regex.match(r"(?|(first)|(second))", "first").groups() ('first',) >>> regex.match(r"(?|(first)|(second))", "second").groups() ('second',)
两次匹配都是把捕获到的内容放到编号为1捕获组中,在某些情况很方便。
(?flags-flags:...)
局部范围的flag控制。在re模块,flag只能作用于整个表达式,现在可以作用于局部范围了:
>>> regex.search(r"<B>(?i:good)</B>", "<B>GOOD</B>") <regex.Match object; span=(0, 11), match='<B>GOOD</B>'>
在这个例子里,忽略大小写模式只作用于标签之间的单词。
(?i:)是打开忽略大小写,(?-i:)则是关闭忽略大小写。
如果有多个flag挨着写既可,如(?is-f:),减号左边的是打开,减号右边的是关闭。
除了局部范围的flag,还有全局范围的flag控制,如 (?si-f)<B>good</B>
re模块也支持这个,可以参见Python文档。
把flags写进表达式、而不是以函数参数的方式声明,方便直观且不易出错。
(?(DEFINE)...)
定义可重复使用的子句
>>> regex.search(r'(?(DEFINE)(?P<quant>\d+)(?P<item>\w+))(?&quant) (?&item)', '5 elephants')
<regex.Match object; span=(0, 11), match='5 elephants'>
此例中,定义之后,(?&quant)表示\d+,(?&item)表示\w+。如果子句很复杂,能省不少事。
partial matches
部分匹配。可用于验证用户输入,当输入不合法字符时,立刻给出提示。
可以pickle编译后的正则表达式对象
如果正则表达式很复杂或数量很多,编译需要较长时间。
这时可以把编译好的正则式用pickle存储到文件里,下次使用直接pickle.load()就不必再次编译了。
除了以上这些,还有很多新特性(匹配控制、便利方法等等),这里就不介绍了,请自行查阅文档。
三、模糊匹配
regex有模糊匹配(fuzzy matching)功能,能针对字符进行模糊匹配,提供了3种模糊匹配:
- i,模糊插入
- d,模糊删除
- s,模糊替换
以及e,包括以上三种模糊
举个例子:
>>> regex.findall('(?:hello){s<=2}', 'hallo') ['hallo']
(?:hello){s<=2}的意思是:匹配hello,其中最多容许有两个字符的错误。
于是可以成功匹配hallo。
这里只简单介绍一下模糊匹配,详情还是参见文档吧。
四、两种工作模式
regex有Version 0和Version 1两个工作模式,其中的Version 0基本兼容现有的re模块,以下是区别:
Version 0 (基本兼容re模块) | Version 1 | |
启用方法 |
默认模式。 |
设置regex.DEFAULT_VERSION = regex.V1,或者在表达式里写上(?V1)。 |
内联flag | 内联flag只能作用于整个表达式,不可关闭。 | 内联flag可以作用于局部表达式,可以关闭。 |
字符组 | 只支持简单的字符组。 | 字符组里可以有嵌套的集合,也可以做集合运算(并集、交集、差集、对称差集)。 |
大小写匹配 |
默认支持普通的Unicode字符大小写,如Й可匹配й。 这与Python3里re模块的默认行为相同。 |
默认支持完整的Unicode字符大小写,如ss可匹配ß。 可惜不支持Unicode组合字符与单一字符的大小写匹配,所以感觉这个特性不太实用。可以在表达式里写上(?-f)关闭此特性。 |
V1模式默认开启.FULLCASE(完整的忽略大小写匹配)。通常用不上这个,所以在忽略大小写匹配时用(?-f)关闭.FULLCASE即可,这样速度更快一点,例如:(?i-f)tag
五、Version 0模式和re模块不兼容之处
上面说了“Version 0基本兼容re模块”,说说不兼容的地方:
\s的范围。
在re中,\s在这一带的范围是0x09 ~ 0x0D,0x1C ~ 0x1E。
在regex中,\s采用的是Unicode 6.3+标准的\p{Whitespace},在这一带的范围有所缩小,只有:0x09 ~ 0x0D。
十六进制 | 十进制 | 英文说明 | 中文说明 |
0x09 | 9 | HT (horizontal tab) | 水平制表符 |
0x0A | 10 | LF (NL line feed, new line) | 换行键 |
0x0B | 11 | VT (vertical tab) | 垂直制表符 |
0x0C | 12 | FF (NP form feed, new page) | 换页键 |
0x0D | 13 | CR (carriage return) | 回车键 |
... | ... | ... | ... |
0x1C | 28 | FS (file separator) | 文件分割符 |
0x1D | 29 | GS (group separator) | 分组符 |
0x1E | 30 | RS (record separator) | 记录分离符 |
除此之外,可能还有未知的不兼容之处。
posted on 2015-11-09 10:45 animalize 阅读(20300) 评论(0) 编辑 收藏 举报