正则表达式和re模块
re模块是什么模块呢？
正则表达式又是什么呢？
正则表达式：是一个很牛逼的模块它是对字符串进行模糊匹配的一个模块 ，它对所有的语言都通用
re模块是python独有的匹配字符串的模块
其实是先有正则表达式的才有re模块正则表达式它只是一个简单的对字符串进行判断的
一说规则我已经知道你很晕了，现在就让我们先来看一些实际的应用。在线测试工具 http://tool.chinaz.com/regex/
正则表达式：
下面我来看看正则表达式的优点：
我们来查看一个手机号码是不是正确的：
以前思路：
while True: phone_number = input('please input your phone number ： ') if len(phone_number) == 11 \ and phone_number.isdigit()\ and (phone_number.startswith('13') \ or phone_number.startswith('14') \ or phone_number.startswith('15') \ or phone_number.startswith('18')): print('是合法的手机号码') else: print('不是合法的手机号码')
下面我们用正则表达式来做：
import re telphone_num = input('请输入您的手机号').strip() # 因为正则表达式只能对字符串进行操作所以 不用进行int的操作 ret = re.findall('^[13|14|15|16|17|18|19][0-9]\d{9}$', telphone_num) ''' ^这个符号表示的是判断是不是以13|14|15|17|18开头的， [0-9]: []表示一个字符组，可以表示0-9的任意字符 {9}:表示后面的数字重复九次 $:表示结束符 ''' if ret: print(ret) else: print('您输入的手机号不合法')
综合上面的对比就是感觉正则表达式来做的事真的简便很多你要是学会了就可以省去很多你不必要的操作
那么什么是正则呢？
首先你要知道的是，谈到正则，就只和字符串相关了。在线测试工具 http://tool.chinaz.com/regex/
不管以后你是不是去做python开发，只要你是一个程序员就应该了解正则表达式的基本使用。如果未来你要在爬虫领域发展，你就更应该好好学习这方面的知识。 但是你要知道，re模块本质上和正则表达式没有一毛钱的关系。re模块和正则表达式的关系 类似于 time模块和时间的关系 你没有学习python之前，也不知道有一个time模块，但是你已经认识时间了 12:30就表示中午十二点半（这个时间可好，一般这会儿就该下课了）。 时间有自己的格式，年月日时分秒，12个月，365天......已经成为了一种规则。你也早就牢记于心了。time模块只不过是python提供给我们的可以方便我们操作时间的一个工具而已
首先你要知道的是，谈到正则，就只和字符串相关了。在我给你提供的工具中，你输入的每一个字都是一个字符串。
其次，如果在一个位置的一个值，不会出现什么变化，那么是不需要规则的。
比如你要用"1"去匹配"1"，或者用"2"去匹配"2"，直接就可以匹配上。这连python的字符串操作都可以轻松做到。
那么在之后我们更多要考虑的是在同一个位置上可以出现的字符的范围。
正则就是提供一些功能任何语言使用这些功能都可以去匹配使用字符串
字符组 ： [字符组] 在同一个位置可能出现的各种字符组成了一个字符组，在正则表达式中用[]表示 字符分为很多类，比如数字、字母、标点等等。 假如你现在要求一个位置"只能出现一个数字",那么这个位置上的字符只能是0、1、2...9这10个数之一。
正则的提供的功能有开始^ 字符组[] 重复次数{} 是不是数字\d之类的功能组合在一起让我们方便对字符串进行判断
正则 |
待匹配字符 |
匹配 |
说明 |
[0123456789] |
8 |
True |
在一个字符组里枚举合法的所有字符，字符组里的任意一个字符 |
[0123456789] |
a |
False |
由于字符组中没有"a"字符，所以不能匹配 |
[0-9] |
7 |
True |
也可以用-表示范围,[0-9]就和[0123456789]是一个意思 |
[a-z] |
s |
True |
同样的如果要匹配所有的小写字母，直接用[a-z]就可以表示 |
[A-Z] |
B |
True |
[A-Z]就表示所有的大写字母 |
[0-9a-fA-F] |
e |
True |
可以匹配数字，大小写形式的a～f，用来验证十六进制字符 |
字符：
元字符 |
匹配内容 |
| . | 匹配除换行符以外的任意字符 |
| \w | 匹配字母或数字或下划线 |
| \s | 匹配任意的空白符 |
| \d | 匹配数字 |
| \n | 匹配一个换行符 |
| \t | 匹配一个制表符 |
| \b | 匹配一个单词的结尾 |
| ^ | 匹配字符串的开始 |
| $ | 匹配字符串的结尾 |
| \W |
匹配非字母或数字或下划线 |
| \D |
匹配非数字 |
| \S |
匹配非空白符 |
| a|b |
匹配字符a或字符b |
| () |
匹配括号内的表达式，也表示一个组 |
| [...] |
匹配字符组中的字符 |
| [^...] |
匹配除了字符组中字符的所有字符 |
量词：
量词 |
用法说明 |
| * | 重复零次或更多次 |
| + | 重复一次或更多次 |
| ? | 重复零次或一次 |
| {n} | 重复n次 |
| {n,} | 重复n次或更多次 |
| {n,m} | 重复n到m次 |
给匹配的正则匹配名字：
?P<加上你要设置的名字>
注意这个P必须是大写的
?P<> 是给你匹配的条件起一个，名字
. ^ $
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 海. | 海燕海娇海东 | 海燕海娇海东 | 匹配所有"海."的字符 |
| ^海. | 海燕海娇海东 | 海燕 | 只从开头匹配"海." |
| 海.$ | 海燕海娇海东 | 海东 | 只匹配结尾的"海.$" |
. 点代表的是全部 所有的都可以用.点来替代 但是如果你所有的都用了.那就没有意义了
* + ? { }
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 李.? | 李杰和李莲英和李二棍子 |
李杰 |
?表示重复零次或一次，即只匹配"李"后面一个任意字符 |
| 李.* | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 |
*表示重复零次或多次，即匹配"李"后面0或多个任意字符 |
| 李.+ | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 |
+表示重复一次或多次，即只匹配"李"后面1个或多个任意字符 |
| 李.{1,2} | 李杰和李莲英和李二棍子 |
李杰和 |
{1,2}匹配1到2次任意字符
|
注意：前面的*，+，？等都是贪婪匹配，也就是尽可能多的匹配，后面加？就变成了非贪婪匹配，也就是惰性匹配。
贪婪匹配和惰性匹配：
因为正则表达式是默认的是贪婪匹配就是按照最多的来匹配的 所以你要想改变你匹配的方式你就要在正则的后面加上?来改变你的正则的方式
贪婪匹配：
ret = re.findall('\d+', 'nihao123woshi456') # 这是按照贪婪匹配来计算的 print(ret) # ['123', '456']
惰性匹配：
ret = re.findall('\d+?', 'nihao123woshi456') # 这是惰性匹配 一次匹配一个 print(ret) # ['1', '2', '3', '4', '5', '6']
*和+和?的区别
正则待匹配字符匹配
结果说明<.*>
<script>...<script>
<script>...<script>
默认为贪婪匹配模式，会匹配尽量长的字符串
<.*?>r'\d'
<script>
<script>
加上？为将贪婪匹配模式转为非贪婪匹配模式，会匹配尽量短的字符串
ret = re.findall('\d+?', 'nihao123woshi456') # 这是惰性匹配 一次匹配一个 print(ret) # ['1', '2', '3', '4', '5', '6'] ret = re.findall('\d?', 'njfjafsnfpos') # 因为是0-1次 又是贪婪匹配所以就是匹配1次1次的匹配 print(ret) # ['', '', '', '', '', '', '', '', '', '', '', '', ''] ret = re.findall('\d+', 'njfjafsnfpos') # 因为是1到无穷次 但是必须要有一次的 所以匹配不到 print(ret) #[] ret = re.findall('\d*', 'njfjafsnfpos') # 因为是0到无穷次 没有的话就是0次就是为空的匹配 print(ret) # ['', '', '', '', '', '', '', '', '', '', '', '', '']
字符集［］［^］
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| 李[杰莲英二棍子]* | 李杰和李莲英和李二棍子 |
李杰 |
表示匹配"李"字后面[杰莲英二棍子]的字符任意次 |
| 李[^和]* | 李杰和李莲英和李二棍子 |
李杰 |
表示匹配一个不是"和"的字符任意次 |
| [\d] | 456bdha3 |
4 |
表示匹配任意一个数字，匹配到4个结果 |
| [\d]+ | 456bdha3 |
456 |
表示匹配任意个数字，匹配到2个结果 |
字符集一般是你的区间的 字符集内有两个字符是有特殊意义的 ^在字符集内代表的是非的意思 -代表的是几到几
ret = re.findall('[^\d]', 'popo1234jin') #因为是非的意思就是排除都是字符集内的元素 就是排除数字 print(ret) # ['p', 'o', 'p', 'o', 'j', 'i', 'n'] ret = re.findall('[1-3]', 'josafj1318931') # -是区间的意思 就是去除1-3的数字 print(ret) # ['1', '3', '1', '3', '1']
分组 ()与 或 ｜［^］:
身份证号码是一个长度为15或18个字符的字符串，如果是15位则全部🈶️数字组成，首位不能为0；如果是18位，则前17位全部是数字，末位可能是数字或x，下面我们尝试用正则来表示：
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| ^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 |
110101198001017032 |
表示可以匹配一个正确的身份证号 |
| ^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 |
1101011980010170 |
表示也可以匹配这串数字，但这并不是一个正确的身份证号码，它是一个16位的数字 |
| ^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 |
False |
现在不会匹配错误的身份证号了 |
| ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 |
110105199812067023 |
表示先匹配[1-9]\d{16}[0-9x]如果没有匹配上就匹配[1-9]\d{14}
|
下面是匹配身份证号码，可以15位或者18位 都不能以0开头 18位的可以以x结尾：
[1-9]\d{14}|[1-9]\d{16}[0-9x] 所以这个是错误的匹配 把匹配短的选项放在后面了
[1-9]\d{16}[0-9x]|[1-9]\d{14}' 这个是正确的 把匹配的选项放在了前面
如果你的匹配的条件有重合的部分那么必须把判断条件最长的部分放前面不然你匹配到短的之后就不会再找后面的了
如果两个正则表达式之间用"或" |连接，且有一部分正则规则相同，
那么一定要把规则长的放在前面
[1-9]\d{14}(\d{2}[\dx])? 分组
如果对一组正则表达式整体有一个量词约束，就将这一组表达式分成一个组
在组外进行量词约束
分组的意义很大因为你的约定只会对你前面的一个元素起作用那么这个时候就需要你的分组来让你的约定的范围扩大
分组在python中的re模块中还有很多不用法不同的作用：
比如你可以用?P<name>来起名字 分割的时候如果将匹配的正则放到组内，就会将分隔符放到结果列表里
转义符 \
在正则表达式中，有很多有特殊意义的是元字符，比如\d和\s等，如果要在正则中匹配正常的"\d"而不是"数字"就需要对"\"进行转义，变成'\\'。
在python中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出现的，在字符串中\也有特殊的含义，本身还需要转义。所以如果匹配一次"\d",字符串中要写成'\\d'，那么正则里就要写成"\\\\d",这样就太麻烦了。这个时候我们就用到了r'\d'这个概念，此时的正则是r'\\d'就可以了
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| \d | \d | False |
因为在正则表达式中\是有特殊意义的字符，所以要匹配\d本身，用表达式\d无法匹配 |
| \\d | \d | True |
转义\之后变成\\，即可匹配 |
| "\\\\d" | '\\d' | True |
如果在python中，字符串中的'\'也需要转义，所以每一个字符串'\'又需要转义一次 |
| r'\\d' | r'\d' | True |
在字符串之前加r，让整个字符串不转义 |
以上是正则表达式下面就学习我们python中的re模块：
re模块下的常用方法：
findall（）方法：
import re ret = re.findall('a', 'eva egon yuan') # 返回所有满足匹配条件的结果,放在列表里 print(ret) #结果 : ['a', 'a']
findall接收两个参数 ： 正则表达式 要匹配的字符串
一个列表数据
findall返回的是列表
search()方法：
ret = re.search('a', 'eva egon yuan').group() print(ret) #结果 : 'a' # 函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以 # 通过调用group()方法得到匹配的字符串,如果字符串没有匹配，则返回None。 ret = re.search('b', 'eva egbon yuan') print(ret) # 得到的是对象<_sre.SRE_Match object; span=(6, 7), match='b'> print(ret.group()) # 需要通过group()来取值
# 如果匹配到了，返回一个结果对象
# 如果没匹配到，返回一个None
search和findall的区别：
1.search找到一个就返回，findall是找所有
2.findall是直接返回一个结果的列表，search返回一个对象
search得到的是一个对象必须通过group（）来进行取值 并且是找到一个就返回不在继续下面的寻找
match方法：
ret = re.match('a', 'abc').group() # 同search,不过仅在字符串开始处进行匹配 print(ret) #结果 : 'a' ret = re.match('a', 'eva egon yuan') if ret: print(ret.group()) ret = re.match('b', 'bhiasb bhsis') print(ret.group()) # b 也是只匹配到一个元素
ret = re.match('a', 'hajkn')
print(ret.group()) # 找不到会报错 因为开头没有a
ret = re.match('a', 'abahoa') # 这个开头是a所以可以找到 但是也只是找到开头的第一个 就返回
print(ret.group())
# match
# ·1 意味着在正则表达式中添加了一个^
# ·2 和search一样 匹配返回结果对象 没匹配到返回None
# ·3 和search一样 从结果中获取值 仍然用group
match只能从开头来匹配的一样是得到一个对象 只能用group（）来获取得到的值
split()方法是分割的
ret = re.split('ab', 'abcd') #直接按照ab来分割 print(ret) # ['', 'cd'] ret = re.split('[ab]', 'abcd') #先按照z分割再按照b分割 print(ret) # ['', '', 'cd']
ret = re.split('\d+', 'eva3egon4yuan') # 按照数字来分割
print(ret) # ['eva', 'egon', 'yuan']
ret = re.split('(\d+)', 'eva3egon4yuan') # 如过按照组来分割就会保留 组内的分隔符来分割的 就是会把按照数字来分割的数组给保留下来
print(ret)
split分割一个字符串，默认被匹配到的分隔符不会出现在结果列表中，
如果将匹配的正则放到组内，就会将分隔符放到结果列表里
分组既可以对分割起作用又可以进行分组优先
findall如果你前面的匹配条件进行分组它会优先把你分组的内容给拿出来的 ret = re.findall('www\.(baidu|163)\.com', 'www.baidu.com') print(ret) #结果 ['baidu'] # 我们可以使用?: 问好加冒号去除优先级的 ret = re.findall('www\.(?:baidu|163)\.com', 'hafairfsawww.163.com') print(ret) # ['163'] 去除优先级
re模块下的常用方法
import re ret = re.findall('a', 'eva egon yuan') # 返回所有满足匹配条件的结果,放在列表里 print(ret) #结果 : ['a', 'a'] ret = re.search('a', 'eva egon yuan').group() print(ret) #结果 : 'a' # 函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以 # 通过调用group()方法得到匹配的字符串,如果字符串没有匹配，则返回None。 ret = re.match('a', 'abc').group() # 同search,不过仅在字符串开始处进行匹配 print(ret) #结果 : 'a' ret = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割 print(ret) # ['', '', 'cd'] ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1)#将数字替换成'H'，参数1表示只替换1个 print(ret) #evaHegon4yuan4 ret = re.subn('\d', 'H', 'eva3egon4yuan4')#将数字替换成'H'，返回元组(替换的结果,替换了多少次) print(ret) obj = re.compile('\d{3}') #将正则表达式编译成为一个 正则表达式对象，规则要匹配的是3个数字 ret = obj.search('abc123eeee') #正则表达式对象调用search，参数为待匹配的字符串 print(ret.group()) #结果 ： 123 import re ret = re.finditer('\d', 'ds3sy4784a') #finditer返回一个存放匹配结果的迭代器 print(ret) # <callable_iterator object at 0x10195f940> print(next(ret).group()) #查看第一个结果 print(next(ret).group()) #查看第二个结果 print([i.group() for i in ret]) #查看剩余的左右结果
1 findall的优先级查询：
import re ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['www.oldboy.com']
2 split的优先级查询
ret=re.split("\d+","eva3egon4yuan") print(ret) #结果 ： ['eva', 'egon', 'yuan'] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan'] #在匹配部分加上（）之后所切出的结果是不同的， #没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项， #这个在某些需要保留匹配部分的使用过程是非常重要的。
用在线测试工具可以进行测试
经典匹配：
\d\.?\d*[*/]-?\d+ 匹配的是一个整数或者小数乘或者除以一个整数
\d\.?\d*[*/]-?\d+\.?\d+ 匹配的是一个整数或者小数乘或者除以一个整数或者小数
这是一个计算你数字内的整数的：
