正则表达式
一.什么是正则表达式:
匹配字符串内容的一种规则
官方定义:正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
二.正则表达式能做什么:
可以制定一个规则:
1.来确认某一个字符串是否符合规则
2.从大段的字符串中找到符合规则的内容
应用领域:
1.登录注册页的表单验证 web开发 只要求简单的语法
2.爬虫
3.自动化开发 日志分析
三.正则表达式的语法:
1.元字符
字符组:[字符组]
在同一个位置可能出现的各种字符组成了一个字符组,在正则表达式中用[]表示,字符分为很多类,比如数字,字母,标点等等
假如你现在要求一个位置"只能出现一个数字",那么这个位置上的字符只能是0到9这十个数之一.
正则 |
待匹配字符 |
匹配 |
说明 |
[0123456789] |
8 |
True |
在一个字符组里枚举合法的所有字符，字符组里的任意一个字符 |
[0123456789] |
a |
False |
由于字符组中没有"a"字符，所以不能匹配 |
[0-9] |
7 |
True |
也可以用-表示范围,[0-9]就和[0123456789]是一个意思 |
[a-z] |
s |
True |
同样的如果要匹配所有的小写字母，直接用[a-z]就可以表示 |
[A-Z] |
B |
True |
[A-Z]就表示所有的大写字母 |
[0-9a-fA-F] |
e |
True |
可以匹配数字，大小写形式的a～f，用来验证十六进制字符 |
元字符: 2 .量词:
元字符 |
匹配内容 |
| . | 匹配除换行符以外的任意字符 |
| \w | 匹配字母或数字或下划线 |
| \s | 匹配任意的空白符 |
| \d | 匹配数字 |
| \n | 匹配一个换行符 |
| \t | 匹配一个制表符 |
| \b | 匹配一个单词的结尾 |
| ^ | 匹配字符串的开始 |
| $ | 匹配字符串的结尾 |
| \W |
匹配非字母或数字或下划线 |
| \D |
匹配非数字 |
| \S |
匹配非空白符 |
| a|b |
匹配字符a或字符b |
| () |
匹配括号内的表达式，也表示一个组 |
| [...] |
匹配字符组中的字符 |
| [^...] |
匹配除了字符组中字符的所有字符 |
量词 |
用法说明 |
| * | 重复零次或更多次 |
| + | 重复一次或更多次 |
| ? | 重复零次或一次 |
| {n} | 重复n次 |
| {n,} | 重复n次或更多次 |
| {n,m} | 重复n到m次 |
注意:元字符量词配合使用, 默认贪婪匹配
元字符量词? 表示惰性匹配
3.特殊的用法和现象:
? 的使用:
1.在量词的后面跟了一个 ? 取消贪婪匹配 非贪婪(惰性)模式
. ^ $
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 海. | 海燕海娇海东 | 海燕海娇海东 | 匹配所有"海."的字符 |
| ^海. | 海燕海娇海东 | 海燕 | 只从开头匹配"海." |
| 海.$ | 海燕海娇海东 | 海东 | 只匹配结尾的"海.$" |
* + ? { }
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 李.? | 李杰和李莲英和李二棍子 |
李杰 |
?表示重复零次或一次，即只匹配"李"后面一个任意字符 |
| 李.* | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 |
*表示重复零次或多次，即匹配"李"后面0或多个任意字符 |
| 李.+ | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 |
+表示重复一次或多次，即只匹配"李"后面1个或多个任意字符 |
| 李.{1,2} | 李杰和李莲英和李二棍子 |
李杰和 |
{1,2}匹配1到2次任意字符
|
注意：前面的*,+,?等都是贪婪匹配，也就是尽可能匹配，后面加?号使其变成惰性匹配
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 李.*? | 李杰和李莲英和李二棍子 | 李 李 李 |
惰性匹配 |
字符集［］［^］
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 李[杰莲英二棍子]* | 李杰和李莲英和李二棍子 |
李杰 |
表示匹配"李"字后面[杰莲英二棍子]的字符任意次 |
| 李[^和]* | 李杰和李莲英和李二棍子 |
李杰 |
表示匹配一个不是"和"的字符任意次 |
| [\d] | 456bdha3 |
4 |
表示匹配任意一个数字，匹配到4个结果 |
| [\d]+ | 456bdha3 |
456 |
表示匹配任意个数字，匹配到2个结果 |
分组 ()与 或 ｜［^］
身份证号码是一个长度为15或18个字符的字符串，如果是15位则全部🈶️数字组成，首位不能为0；如果是18位，则前17位全部是数字，末位可能是数字或x，下面我们尝试用正则来表示：
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| ^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 |
110101198001017032 |
表示可以匹配一个正确的身份证号 |
| ^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 |
1101011980010170 |
表示也可以匹配这串数字，但这并不是一个正确的身份证号码，它是一个16位的数字 |
| ^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 |
False |
现在不会匹配错误的身份证号了 |
| ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 |
110105199812067023 |
表示先匹配[1-9]\d{16}[0-9x]如果没有匹配上就匹配[1-9]\d{14}
|
转义符 \
在正则表达式中，有很多有特殊意义的是元字符，比如\d和\s等，如果要在正则中匹配正常的"\d"而不是"数字"就需要对"\"进行转义，变成'\\'。
在python中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出现的，在字符串中\也有特殊的含义，本身还需要转义。所以如果匹配一次"\d",字符串中要写成'\\d'，那么正则里就要写成"\\\\d",这样就太麻烦了。这个时候我们就用到了r'\d'这个概念，此时的正则是r'\\d'就可以了。
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| \d | \d | False |
因为在正则表达式中\是有特殊意义的字符，所以要匹配\d本身，用表达式\d无法匹配 |
| \\d | \d | True |
转义\之后变成\\，即可匹配 |
| "\\\\d" | '\\d' | True |
如果在python中，字符串中的'\'也需要转义，所以每一个字符串'\'又需要转义一次 |
| r'\\d' | r'\d' | True |
在字符串之前加r，让整个字符串不转义 |
贪婪匹配
贪婪匹配：在满足匹配时，匹配尽可能长的字符串，默认情况下，采用贪婪匹配
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| <.*> |
<script>...<script> |
<script>...<script> |
默认为贪婪匹配模式，会匹配尽量长的字符串 |
| <.*?> | r'\d' |
<script> |
加上？为将贪婪匹配模式转为非贪婪匹配模式，会匹配尽量短的字符串 |
几个常用的非贪婪匹配Pattern
*? 重复任意次，但尽可能少重复
+? 重复1次或更多次，但尽可能少重复
?? 重复0次或1次，但尽可能少重复
{n,m}? 重复n到m次，但尽可能少重复
{n,}? 重复n次以上，但尽可能少重复
.*?的用法
. 是任意字符 * 是取 0 至 无限长度 ? 是非贪婪模式。 何在一起就是 取尽量少的任意字符，一般不会这么单独写，他大多用在： .*?x 就是取前面任意长度的字符，直到一个x出现
四.正则表达式在python中的应用:
1.re模块:
(1):findall()根据正则表达式的规则在字符串中进行匹配
import re ret = re.findall('\d+','123214rwsfwe22f') print(ret) 结果:['123214', '22']
参数:(正则,字符串,flags) 返回值类型:列表 返回个数:1个 返回内容:如上结果
(2):search() 根据正则的规则匹配第一个符合规则的字符串
ret2 = re.search('\d+','s123214rwsfwe22f')
print(ret2) print(ret2.group()) #需要用group打印内容
结果:<_sre.SRE_Match object; span=(1, 7), match='123214'> 结果:123214
参数:(正则,字符串,flags) 返回值类型:如果匹配上了返回对象,如果没匹配上返回None 返回个数:1个
需要用group()打印内容
(3):match() 跟search差不多,区别在于相当于加了个^号,指:只在首部才会匹配到值
ret3 = re.match('\d+','123214rwsfwe22f') #如果首部不是数字就会报错 print(ret3.group())
(4):sub():替换
ret = re.sub('\d+','H','3453kkkksk44') print(ret) 结果:HkkkkskH
参数:sub(正则,替换的内容,被替换的内容,替换几个,flags) 返回内容:字符串
(5):subn():替换并返回替换几次
ret = re.subn('\d+','H','3453kkkksk44') print(ret) 结果:('HkkkkskH', 2)
参数:subn(正则,替换的内容,被替换的内容,替换几个,flags) 返回内容:元祖类型
(6):split():切割
ret = re.split('\d','123sfe3f4f') print(ret) 结果:['', 'sfe', 'f', 'f']
参数:split(正则,字符串,切割的个数(数字),flags) 返回内容:列表 返回个数 :1个
(7):compile:预编译 时间效率
ret = re.compile('\d+') res = re.findall(ret,'3242sdf44ewer4f5') print(res) 结果:['3242', '44', '4', '5']
参数:compile(正则,flags)
节省时间:只有多次使用某一个相同的正则表达式的时候,这个compile才会帮我们提高程序的效率
(8):finditer:空间效率 节省内存
ret1 = re.finditer('\d+','13432sfsd666foiwe88') for i in ret1: print(i.group()) 结果: 13432 666 88
可以一行一行打印,节省内存
2.() 分组
(1):findall 遇到分组 会优先显示分组中的内容,要想取消分组优先:(?:正则表达式)
ret = re.findall('www.(?:baidu|taobao).com','www.baidu.com') print(ret)
(2):split 遇到分组,会保留被切割的内容
ret = re.split('(\d+)','姓名123姓名234姓名345') print(ret) 结果:['姓名', '123', '姓名', '234', '姓名', '345', '']
(3):search 如果search中有分组的话,通过group(n)能够拿个group中的匹配的内容
ret = re.search('\d+(.\d+)(.\d+)(.\d+)?','1.3-2.3+4*3.4') print(ret.group()) print(ret.group(1)) print(ret.group(2)) print(ret.group(3)) 结果: 1.3-2.3 .3 -2 .3
3.分组命名:
(?P<name>正则表达式)表示给分组起名字
(?P=name)表示使用这个分组,这里匹配的内容应该和分组中的内容完全相同
ret = re.search(r'<(?P<name>\w+)>\w+</(?P=name)>',r'<h>qqxing</h>') print(ret.group('name')) 结果:h
通过索引使用分组:
\1表示使用第一组,匹配的内容必须和第一组中的内容完全相同
ret = re.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>") print(ret.group(1)) 结果:h1
