常用模块之正则与re模块
一、正则表达式
1.官方定义：正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、
及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
2.正则表达式与与re模块的关系
1.>正则表达式是一门独立艺术，任何语言均可使用
2.>python中想要使用正则表达式需要通过re模块
3.正则的应用场景
1.爬虫
2.数据分析
4.正则表达式在线测试工具网址
5.字符组概念
在同一个位置可能出现的各种字符组成了一个字符组，在正则表达式中用[]表示（一个字符组每次只能匹配一个字符）
例如：
1.>匹配0-9数字（[0123456789]）也支持简写[0-9]（如果需要匹配横杆，转义即可）
2.>匹配A-Z字母
3.>匹配a-z字母
6.字符
| 元字符 | 匹配内容 |
| . | 匹配除换行以外的任意字符 |
| \w | 匹配字母或数字或下划线 |
| \s | 匹配任意空白符 |
| \d | 匹配数字 |
| \n | 匹配一个换行符 |
| \t | 匹配一个制表符 |
| \b | 匹配一个单词的结尾 |
| ^ | 匹配字符串的开始 |
| $ | 匹配字符串的结尾 |
| \W | 匹配非字母或数字或下划线 |
| \D | 匹配非数字 |
| \S | 匹配非空白符 |
| a|b | 匹配字符a或字符b |
| () | 匹配括号内的表达式，也表示一个组 |
| [...] | 匹配字符组中的字符 |
| [^...] | 匹配除了字符组中字符的所有字符 |
7.量词:
1.量词必须跟在正则符号的后面
2.量词只能能够限制紧挨着它的那一个正则符号
| 量词 | 用法说明 |
| * | 重复零次或更多次 |
| + | 重复一次或更多次 |
| ? | 重复零次或一次 |
| {n} | 重复n次 |
| {n,} | 重复n次或更多次 |
| {n,m} | 重复n到m次 |
8.例题
.^$
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| 海. | 海燕海娇海东 | 海燕海娇海东 | 匹配所有“海”的字符 |
| ^海. | 海燕海娇海东 | 海燕 | 只从开头匹配"海." |
| 海.$ | 海燕海娇海东 | 海东 | 只匹配结尾的"海.$" |
*+？{}
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| 李.? | 李杰和李莲英和李二棍子 | 李杰 李莲 李二 |
?表示重复零次或一次，即只匹配"李"后面一个任意字符
|
| 李.* | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 |
*表示重复零次或多次，即匹配"李"后面0或多个任意字符
|
| 李.+ | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 |
+表示重复一次或多次，即只匹配"李"后面1个或多个任意字符
|
| 李.{1,2} | 李杰和李莲英和李二棍子 | 李杰和 李莲英 李二棍 |
{1,2}匹配1到2次任意字符
|
注意：前面的*,+,?等都是贪婪匹配，也就是尽可能匹配，后面加?号使其变成惰性匹配
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| 李.*? | 李杰和李莲英和李二棍子 |
李 李 李 |
惰性匹配（非贪婪匹配） |
字符集[] [^]
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| 李[杰莲英二棍子]* | 李杰和李莲英和李二棍子 | 李杰 李莲英 李二棍子 |
表示匹配“李”字后面[杰莲英二棍子]的字符任意次 |
| 李[^和]* | 李杰和李莲英和李二棍子 | 李杰 李莲英 李二棍子 |
表示匹配一个不是“和”的字符任意次 |
| [\d] | 456bdha3 | 4 5 6 3 |
表示匹配任意一个数字，匹配个结果 |
| [\d]+ | 456bdha3 | 456 3 |
表示匹配到任意数字，匹配到两个结果 |
分组（）与或 | [^]
分组:当多个正则符号需要重复多次的时候或者当做一个整体进行其他操作,那么可以分组的形式
分组在正则的语法中就是()
身份证号码是一个长度为15或18个字符的字符串，如果是15位则全部🈶️数字组成，首位不能为0；如果是18位，则前17位全部是数字，末位可能是数字或x，下面我们尝试用正则来表示：
2.^[1-9]\d{14}(\d{2}[0-9x])?$
3.^([1-9]\d{16}[0-9x]|[1-9]\d{14})$
9.转义符
在正则表达式中，有很多有特殊意义的元字符，比如\n和\s等，如果要在正则中匹配正常的“\n”而不是“换行符”就需要对“\n”进行转义，变成‘\’。
在python中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出现的，在字符串中“\”也有特殊的含义，本身还需要转义。
所以如果匹配一次“\n”，字符串中要写成“\\n”
如果匹配一次“\\n”，字符床就要写成“\\\\n”
简便操作，利用r可以让整个字符串都不用转义
10.贪婪匹配与非贪婪匹配
1.正则在匹配的时候默认都是贪婪匹配(尽量匹配多的)
2.你可以通过在量词后面加上一个?就可以将贪婪匹配变成非贪婪匹配(惰性匹配)
2.<.*?>:先拿着?后面的>去匹配符合条件的最少的内容,然后把匹配的结果返回
几个常用的非贪婪匹配
*? 重复任意次，但尽可能少重复
+? 重复1次或更多次，但尽可能少重复
?? 重复0次或1次，但尽可能少重复
{n,m}? 重复n到m次，但尽可能少重复
{n,}? 重复n次以上，但尽可能少重复
.*？的用法
.是任意字符
*是取0至无限长度
？是非贪婪模式
合在一起就是 取尽量少的任意字符，一般不会这么单独写，他大多用在： .*?x 就是取前面任意长度的字符，直到一个x出现
re模块的使用
三个必须掌握的方法
1.findall
2.search
3.match
1.findall
import re # 第一个参数是正则表达式，第二个参数是待匹配的文本内容 ret = re.findall('a', 'eva egon yuan') # 返回所有满足匹配条件的结果,放在列表里 print(ret) # ['a', 'a', 'a']
2.search
ret = re.search('a', 'eva egon yuan')
print(ret) # search不会直接返回一个结果，而是返回一个对象 print(ret.group()) # a # 必须调用group才能看到匹配的结果
注意：
1.search只会依据正则查找一次，只要找到结果，就不会继续往后查找
2.当查找的结果不存在的情况下，调用group直接报错
如果结果不存在，使用一下步骤来打印并不会报错，而是会直接结束程序 if ret: print(ret.group())
3.match
ret = re.match('a', 'abc').group() # 同search,不过仅在字符串开始处进行匹配 print(ret) # ‘a' 注意：
1.march 只会匹配字符串的开头部分
2.当字符串的开头不符合匹配规则的情况下，返回的也是None,调用grouop也会报错
其他方法
1.split
ret = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割 print(ret) # ['', '', 'cd']
2.sub
ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1) # 将数字替换成'H'，参数1表示只替换1个 print(ret) # evaHegon4yuan4
3.subn
ret = re.subn('\d', 'H', 'eva3egon4yuan4') # 将数字替换成'H'，返回元组(替换的结果,替换了多少次) print(ret)
4.obj
obj = re.compile('\d{3}') #将正则表达式编译成为一个 正则表达式对象，规则要匹配的是3个数字 ret = obj.search('abc123eeee') #正则表达式对象调用search，参数为待匹配的字符串 print(ret.group()) #结果 ： 123
5.finditer
import re ret = re.finditer('\d', 'ds3sy4784a') #finditer返回一个存放匹配结果的迭代器 print(ret) # <callable_iterator object at 0x10195f940> print(next(ret).group()) #查看第一个结果 print(next(ret).group()) #查看第二个结果 print([i.group() for i in ret]) #查看剩余的左右结果
注意：
1 findall的优先级查询：
import re ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['www.oldboy.com']
2 split的优先级查询
ret=re.split("\d+","eva3egon4yuan") print(ret) #结果 ： ['eva', 'egon', 'yuan'] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan'] #在匹配部分加上（）之后所切出的结果是不同的， #没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项， #这个在某些需要保留匹配部分的使用过程是非常重要的。
起别名
import re 起别名之前 res = re.search('^[1-9](\d{14})(\d{2}[0-9x])?$','110105199812067023') print(res.group(1)) # 10105199812067 起别名之后 res = re.search('^[1-9](?P<password>\d{14})(?P<username>\d{2}[0-9x])?$','110105199812067023') print(res.group()) # 110105199812067023 print(res.group('password')) # 10105199812067 print(res.group('username')) # 023
浙公网安备 33010602011771号