Python中的Re库简要总结

一、正则表达式

正则表达式（regular expression）(regex)(RE)，用来简洁表达一组字符的表达式，由字符和操作符构成。

通用的字符串表达框架

简洁表达一组字符串的表达式

针对字符串表达“简洁”和“特征”思想的工具

判断某字符串的特征归属

正则表达式常用于文本处理

表达文本类型的特征（病毒、入侵等）

同时查找或替换一组字符串

匹配字符串的全部或部分

正则表达式的使用

编译：将符合正则表达式语法的字符串转换为正则表达式特征

正则表达式的常用操作符

操作符	说明	实例
.	表示任何单个字符（默认除换行符）
[]	字符集，对单个字符给出取值范围	[abc]表示a、b、c，[a-z]表示a到z的单个字符
[^]	非字符集，对单个字符给出排除范围	[^abc]表示非a或非b或非c的单个字符
*	前一个字符0次或无限次扩展	abc*表示ab、abc、abcc、abccc等
+	前一个字符1次或无限次扩展	abc+表示abc、abcc、abccc等
?	前一个字符0次或1次扩展	abc*表示ab、abc
|	左右表达式任意一个	abc|def表示abc、def
{m}	扩展前一个字符m次	ab{2}c表示abbc
{m,n}	扩展前一个字符m至n次（含n）	ab{1,2}c表示abc,abbc
^	匹配字符串开头	abc且在一个字符串的开头
$	匹配字符串结尾	abc且在一个字符串的结尾
()	分组标记，内部只能使用|操作符	(abc)表示abc,(abc|def)表示abc、def
\d	数字，等价于[0-9]
\w	单词字符，等价于[A-Za-z0-9_]

语法实例

正则表达式	对应字符串
P(Y|YT|YTH|YTHO)?N	‘PN’、’PYN’、’PYTN’、’PYTHN’、’PYTHON’
PYTHON+	‘PYTHON’、’PYTHONN’、’PYTHONNN’……
PY[TH]ON	‘PYTON’、’PYHON’
PY[^TH]?ON	‘PYON’、’PYaON’、’PYbON’、’PYcON’……
PY{:3}ON	‘PN’、’PYN’、’PYYN’、’PYYYN’

经典实例

正则表达式	意义
^[A-Za-z]+$	由26个字母组成的字符串
^[A-Za-z0-9]+$	由26个字母和数字组成的字符串
^-?\d+$	整数形式的字符串
^ [1-9]*[0-9]*$	正整数形式的字符串
[1-9]\d{5}	中国境内邮政编码，6位
[\u4e00-\u9fa5]	匹配中文字符
\d{3}-\d{8}|\d{4}-\d{7}	国内电话号码 3位-8位或4位-7位

二、Re库 

Re库是Python的标准库，主要用于字符串匹配，调用方法“import re”

1、正则表达式的类型

Re库采用raw string(原生字符串类型)表达正则表达式，表示为r'text'，raw string是不包含转义符的字符串

如 r'[1-9]\d{5}'、r'\d{3}-\d{8}|\d{4}-\d{7}'

string类型更繁琐，需要对一些特殊符号进行转义

如 '[1-9]\\d{5}'、'\\d{3}-\\d{8}|\\d{4}-\\d{7}'

2、Re库的主要功能函数

函数	说明
re.search()	从一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()	从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

（1）re.search()函数

re.search(pattern,string,flags = 0)

在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象

pattern:正则表达式的字符串或原生字符串表示

string:待匹配字符串

flags:正则表达式使用时的控制标记

import re
match = re.search(r'[1-9]\d{5}','BIT 100081')
if match:
        print(match.group(0))     
100081 

常用标记	说明
re.I　　re.IGNORECASE	忽略正则表达式的大小写，[A-Z]能够匹配小写字符
re.M　 re.MULTILINE	正则表达式中^操作符能够将给定字符串的每行当做匹配开始
re.S      re.DOTALL	正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符

（2）re.match()函数

re.match(pattern,string,flags = 0)

从一个字符串的开始位置起匹配正则表达式，返回match对象

pattern:正则表达式的字符串或原生字符串表示

string:待匹配字符串

flags:正则表达式使用时的控制标记

import re
match = re.match(r'[1-9]\d{5}','BIT 100081')
if match:
        print(match.group(0))
     
match.group(0)
Traceback (most recent call last):
  File "<input>", line 1, in <module>
AttributeError: 'NoneType' object has no attribute 'group'    

由以上代码可看出，匹配不出以'BIT'开头的字符串，调用match.group(0)返回为空

import re
match = re.match(r'[1-9]\d{5}','100081 BIT')
if match:
        print(match.group(0))  
100081

（3）re.findall()函数

re.findall(pattern,string,flags = 0)

搜索字符串，以列表类型返回全部能匹配的子串

pattern:正则表达式的字符串或原生字符串表示

string:待匹配字符串

flags:正则表达式使用时的控制标记

import re 
ls = re.findall(r'[1-9]\d{5}','BIT100081 TSU100084')
ls
['100081', '100084']

（4）re.split()函数

re.split(pattern,string,maxsplit = 0,flags = 0)

将一个字符串按照正则表达式匹配结果进行分割，返回列表类型

pattern:正则表达式的字符串或原生字符串表示

string:待匹配字符串

maxsplit:最大分割数，剩余部分作为最后一个元素输出

flags:正则表达式使用时的控制标记

import re
re.split(r'[1-9]\d{5}','BIT100081 TSU100084')
['BIT', ' TSU', ''] #将匹配的字符串去掉，剩余分割部分放入一个列表
re.split(r'[1-9]\d{5}','BIT100081 TSU100084',maxsplit = 1)
['BIT', ' TSU100084'] #将匹配的第一个字符串去掉，剩余分割部分放入一个列表（匹配的第一个字符串后的所有部分作为一个整体）

（5）re.finditer()函数

re.finditer(pattern,string,flags = 0)

搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象

pattern:正则表达式的字符串或原生字符串表示

string:待匹配字符串

flags:正则表达式使用时的控制标记

import re
for m in re.finditer(r'[1-9]\d{5}','BIT100081 TSU100084'):
        if m:
            print(m.group(0))        
100081
100084        

（6）re.sup()函数

re.sup(pattern,repl,string,count = 0,flags = 0)

在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

pattern:正则表达式的字符串或原生字符串表示

repl:替换匹配字符串的字符串

string:待匹配字符串

count:匹配的最大替换次数

flags:正则表达式使用时的控制标记

import re
re.sub(r'[1-9]\d{5}','zipcode','BIT100081 TSU100084')
'BITzipcode TSUzipcode'

 3、Re库的用法

（1）函数式用法：一次性操作

rst = re.search(r’[1-9]\d{5}’,’BIT 100081’)

（2）面向对象用法：编译后的多次操作

pat = re.compile(r’[1-9]\d{5}’)
rst = pat.search(‘BIT 100081’)

（3）re.compile()函数

regex = re.compile(pattern,flags = 0)

将正则表达式的字符串形式编译成正则表达式对象

pattern:正则表达式的字符串或原生字符串表示

flags:正则表达式使用时的控制标记

经过re.compile()方法后,regex被编译为正则表达式对象，可以使用对象方法，即regex.search()、regex.match()、regex.findall()、regex.split()、regex.finditer()、regex.sub()

import re
regex = re.compile(r'[1-9]\d{5}')
regex.search('100081')
<re.Match object; span=(0, 6), match='100081'>
regex.search('100081').group(0)
'100081'

4、Match对象

（1）Match的属性

属性	说明
.string	待匹配的文本
.re	匹配时使用的pattern对象（正则表达式）
.pos	正则表达式搜索文本的开始位置
.endpos	正则表达式搜索文本的结束位置

import re
m = re.search(r'[1-9]\d{5}','BIT100081 TSU100084')
m.string #待匹配的字符串
'BIT100081 TSU100084'
m.re #匹配时使用的正则表达式
re.compile('[1-9]\\d{5}')
m.pos #正则表达式搜索文本的开始位置
0
m.endpos #正则表达式搜索文本的结束位置
19

（2）Match的方法

方法	说明
.group(0)	获得匹配后的字符串
.start()	匹配字符串在原始字符串的开始位置
.end()	匹配字符串在原始字符串的结束位置
.span()	返回(.start(),.end())

import re
m = re.search(r'[1-9]\d{5}','BIT100081 TSU100084')
m.group(0) #获得匹配后的字符串
'100081' #返回第一次匹配的结果
m.start() #匹配字符串在原始字符串的开始位置
3
m.end() #匹配字符串在原始字符串的结束位置
9
m.span() #返回(.start(),.end())
(3, 9)

5、贪婪匹配和最小匹配

（1）贪婪匹配

贪婪匹配即匹配最长的子串，Re库默认采用贪婪匹配

import re
match = re.search(r'PY.*N','PYANBNCNDN')
match.group(0)
'PYANBNCNDN'

（2）最小匹配

最小匹配即匹配最短的子串

操作符	说明
*?	前一个字符0次或无限次扩展，最小匹配
+?	前一个字符1次或无限次扩展，最小匹配
??	前一个字符0次或1次扩展，最小匹配
{m,n}?	扩展前一个字符m至n次（含n），最小匹配

import re
match = re.search(r'PY.*?N','PYANBNCNDN') #最小匹配
match.group(0)
'PYAN'

资料来源：《Python网络爬虫与信息提取》——嵩天，北京理工大学，MOOC