正则表达式

一、re模块

1.re模块与正则表达式之间的关系

正则表达式不是python独有的，他是一门独立的技术

所有编程语言都可以使用正则

但是如果你想在python中使用，你就必须依赖于re模块

正则就是用来筛选字符串中的特定的内容的（推荐书刊：正则指引）

2.正则的应用场景

1.爬虫

2.数据分析

只要是有reg：一般情况下都是跟正则有关

但是如果只是想匹配具体的内容，可以直接写完整的内容，不需要写正则

3.正则表达式

首先我们在一个在线测试工具：http://tool.chinaz.com/regex/中，演示一下正则表达式的使用方法

首先要知道的是，一旦用到正则，那么说明就是与字符串有关。在这个工具中，我输入的每一个字就是一个字符串，其次如果一个位置的一个值，不会出现什么变化，那么是不需要规则的。比如用“1”去匹配“1”，用“2”去匹配“2”，这直接就可以匹配上。但是我们用正则表达式可不是为了这么简单的操作，我们要更多考虑的是在同一位置上，可以出现的字符范围。接下来是一个简单的说明书一样的表格，方便我们一目了然看清。

正则	待匹配字符	匹配结果	说明
[0123456789]	8	Ture	在一个字符组李枚举合法的所有字符，字符组里的任意一个字符 和“待匹配字符”相同都视为可以匹配
[0123456789]	a	False	由于字符组中没有“a”字符，所以不能匹配
[0-9]	7	True	也可以用 - 表示范围，[0-9]和[0123456789]是一个意思
[a-z]	s	True	同样的如果要匹配所有的小写字母，直接用[a-z]就可以表示了
[A-Z]	B	True	[A-Z]就表示所有的大写字母
[0-9a-fA-F]	e	True	可以匹配数字，大小写形式的a-f，可以用来验证十六进制的字符

字符：

元字符	匹配内容
.	匹配除换行符以外的任意字符
\w	匹配字母或数字或下划线
\s	匹配人的空白符
\d	匹配数字
\n	匹配一个换行符
\t	匹配一个制表符
\b	匹配一个单词的结尾
^	匹配字符串的开始
$	匹配字符串的结尾
\W	匹配非字母或数字或下划线
\D	匹配非数字
\S	匹配非空白符
a|b	匹配字符a或字符b
()	匹配括号内的表达式，也表示一个组
[...]	匹配字符组中的字符
[^...]	匹配除了字符组中字符的所有字符

量词：

量词	用法说明
*	重复零次或更多次
+	重复一次或更多次
？	重复零次或一次
{n}	重复n次
{n,}	重复n次或更多次
{n,m}	重复n次到m次

二、正则的使用

举几个例子：

1.待匹配字符：海燕海娇海东

1.海.：匹配所有“海.”的字符

2.^海.：只从开头匹配“海.”

3.海.$:只匹配结尾的“海.$”

2.待匹配子字符：李杰和李莲英和李二棍子

1.李.?：？表示重复零次或一次，即只匹配“李”后面一个任意字符

2.李.*：*表示重复零次或多次，即匹配“李”后面的0或多个任意字符

3.李.+：+表示重复一次或多次，即只匹配“李”后面1个或多个任意字符

4.李.{1,2}：{1,2}匹配1到2次任意字符

注意：前面的*,+,?等都是贪婪匹配，也就是尽可能匹配，后面加？可以使其变成惰性匹配

5.李.*?：惰性匹配

3.待匹配字符：李杰和李莲英和李二棍子

1.李[杰莲英二棍子]*：表示匹配“李”字后面[杰莲英二棍子]的字符任意次

2.李[^和]*：表示匹配一个不是“和”的字符任意次

4.待匹配字符：456bdha3

1.[\d]：表示匹配任意一个数字，匹配到4个结果

2.[\d]+：表示匹配任意个数字，匹配到2个结果

5.匹配身份证

     身份证号码是一个长度为15或18个字符的字符串，如果是15位则全部由数字组成，首位不能为0；如果是18位，则前17位全部是数字，末位可能是数字或x，下面我们尝试用正则来表示：

     ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$

6.转义符\

待匹配字符：\n

1.\n 因为在正则表达式中\是有特殊意义的字符，所以要匹配\n本身，用表达式\n无法匹配

2.\\n 转义\之后变成\\，即可匹配

待匹配字符：\\n

1.\\\\n 如果在python中，字符串中的'\'也需要转义，所以每一个字符串'\'又需要转义一次

2.r'\\n'  在字符串之前加r，让整个字符串不转义

7.几个常用的非贪婪匹配Pattern

*? 重复任意次，但尽可能少重复

+? 重复1次或更多次，但尽可能少重复

?? 重复0次或1次，但尽可能少重复

{n,m}? 重复n到m次，但尽可能少重复

{n,}? 重复n次以上，但尽可能少重复

三、re模块下的常用方法

import re

ret = re.findall('a', 'eva egon yuan')  # 返回所有满足匹配条件的结果,放在列表里
print(ret) #结果 : ['a', 'a']

ret = re.search('a', 'eva egon yuan').group()
print(ret) #结果 : 'a'
# 函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以
# 通过调用group()方法得到匹配的字符串,如果字符串没有匹配，则返回None。

ret = re.match('a', 'abc').group()  # 同search,不过尽在字符串开始处进行匹配
print(ret)
#结果 : 'a'

ret = re.split('[ab]', 'abcd')  # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
print(ret)  # ['', '', 'cd']

ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1)#将数字替换成'H'，参数1表示只替换1个
print(ret) #evaHegon4yuan4

ret = re.subn('\d', 'H', 'eva3egon4yuan4')#将数字替换成'H'，返回元组(替换的结果,替换了多少次)
print(ret)

obj = re.compile('\d{3}')  #将正则表达式编译成为一个 正则表达式对象，规则要匹配的是3个数字
ret = obj.search('abc123eeee') #正则表达式对象调用search，参数为待匹配的字符串
print(ret.group())  #结果 ： 123

import re
ret = re.finditer('\d', 'ds3sy4784a')   #finditer返回一个存放匹配结果的迭代器
print(ret)  # <callable_iterator object at 0x10195f940>
print(next(ret).group())  #查看第一个结果
print(next(ret).group())  #查看第二个结果
print([i.group() for i in ret])  #查看剩余的左右结果

1.findall的优先级

import re

ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret)  # ['oldboy']     这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可

ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret)  # ['www.oldboy.com']

2.split的优先级查询

ret=re.split("\d+","eva3egon4yuan")
print(ret) #结果 ： ['eva', 'egon', 'yuan']

ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan']

#在匹配部分加上（）之后所切出的结果是不同的，
#没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项，
#这个在某些需要保留匹配部分的使用过程是非常重要的。