re模块
python学习-re模块
预备知识
- 正则表达式基本语法
'''
^ 匹配一个输入或一行的开头，/^a/匹配"an A"，而不匹配"An a"
$ 匹配一个输入或一行的结尾，/a$/匹配"An a"，而不匹配"an A"
* 匹配前面元字符0次或多次，/ba*/将匹配b,ba,baa,baaa
+ 匹配前面元字符1次或多次，/ba*/将匹配ba,baa,baaa
? 匹配前面元字符0次或1次，/ba*/将匹配b,ba
(x) 匹配x保存x在名为$1...$9的变量中
x|y 匹配x或y
{n} 精确匹配n次
{n,} 匹配n次以上
{n,m} 匹配n-m次
[xyz] 字符集(character set)，匹配这个集合中的任一一个字符(或元字符)
[^xyz] 不匹配这个集合中的任何一个字符
[\b] 匹配一个退格符
\b 匹配一个单词的边界
\B 匹配一个单词的非边界
\cX 这儿，X是一个控制符，/\cM/匹配Ctrl-M
\d 匹配一个字数字符，/\d/ = /[0-9]/
\D 匹配一个非字数字符，/\D/ = /[^0-9]/
\n 匹配一个换行符
\r 匹配一个回车符
\s 匹配一个空白字符，包括\n,\r,\f,\t,\v等
\S 匹配一个非空白字符，等于/[^\n\f\r\t\v]/
\t 匹配一个制表符
\v 匹配一个重直制表符
\w 匹配一个可以组成单词的字符(含数字、下划线，不含空格)，如[\w]匹配"$5.98"中的5，等于[a-zA-Z0-9_]
\W 匹配一个不可以组成单词的字符，如[\W]匹配"$5.98"中的$，等于[^a-zA-Z0-9_]
'''
- re模块基本函数
# 返回pattern对象
re.compile(string[,flag])
# 以下为匹配所用函数
re.match(pattern, string[, flags])
re.search(pattern, string[, flags])
re.split(pattern, string[, maxsplit])
re.findall(pattern, string[, flags])
re.finditer(pattern, string[, flags])
re.sub(pattern, repl, string[, count])
re.subn(pattern, repl, string[, count])
'''
参数flag是匹配模式，取值可以使用按位或运算符’|’表示同时生效，比如re.I | re.M
flag:
• re.I(全拼：IGNORECASE): 忽略大小写（括号内是完整写法，下同）
• re.M(全拼：MULTILINE): 多行模式，改变'^'和'$'的行为（参见上图）
• re.S(全拼：DOTALL): 点任意匹配模式，改变'.'的行为
• re.L(全拼：LOCALE): 使预定字符类 \w \W \b \B \s \S 取决于当前区域设定
• re.U(全拼：UNICODE): 使预定字符类 \w \W \b \B \s \S \d \D 取决于unicode定义的字符属性
• re.X(全拼：VERBOSE): 详细模式。这个模式下正则表达式可以是多行，忽略空白字符，并可以加入注释
'''
常见函数使用
re.compile(string[,flag])
获取一个匹配模式pattern
pattern = re.compile(r'shivers') //r 表示原生字符串
re.match(pattern, string[, flags])
这个方法将会从string（我们要匹配的字符串）的开头开始，尝试匹配pattern，一直向后匹配，如果遇到无法匹配的字符，立即返回None，如果匹配未结束已经到达string的末尾，也会返回None。两个结果均表示匹配失败，否则匹配pattern成功，同时匹配终止，不再对string向后匹配
简单来说若string的开头部分有pattern，则返回 true 否则返回 false
//ex_1.py
# -*- coding: utf-8 -*-
#re.match
import re
pattern = re.compile(r'shivers')
first = re.match(pattern, 'shivers')
second = re.match(pattern, 'shiverssss')
third = re.match(pattern, 'sshivers')
fourth = re.match(pattern, 'shivvers')
print(first)
if second:
print('is matched')
print(third)
print(fourth)
'''
<re.Match object; span=(0, 7), match='shivers'>
is matched
None
None
[Finished in 0.3s]
'''
补充：
Match对象是一次匹配的结果，包含了很多关于此次匹配的属性和方法，可以使用Match提供的可读属性或方法来获取这些信息
属性：
1.string: 匹配时使用的文本。
2.re: 匹配时使用的Pattern对象。
3.pos: 文本中正则表达式开始搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。
4.endpos: 文本中正则表达式结束搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。
5.lastindex: 最后一个被捕获的分组在文本中的索引。如果没有被捕获的分组，将为None。
6.lastgroup: 最后一个被捕获的分组的别名。如果这个分组没有别名或者没有被捕获的分组，将为None。
方法：
1.group([group1, …]):
获得一个或多个分组截获的字符串；指定多个参数时将以元组形式返回。group可以使用编号也可以使用别名；编号0代表整个匹配的子串；不填写参数时，返回group(0)；没有截获字符串的组返回None；截获了多次的组返回最后一次截获的子串。
2.groups([default]):
以元组形式返回全部分组截获的字符串。相当于调用group(1,2,…last)。default表示没有截获字符串的组以这个值替代，默认为None。
3.groupdict([default]):
返回以有别名的组的别名为键、以该组截获的子串为值的字典，没有别名的组不包含在内。default含义同上。
4.start([group]):
返回指定的组截获的子串在string中的起始索引（子串第一个字符的索引）。group默认值为0。
5.end([group]):
返回指定的组截获的子串在string中的结束索引（子串最后一个字符的索引+1）。group默认值为0。
6.span([group]):
返回(start(group), end(group))。
//ex_2.py
# -*- coding: utf-8 -*-
#match对象属性与方法
import re
pattern = re.compile(r'(\w+) (\w+)([^\w ]+)')
text = "i am shivers!!!"
result = re.search(pattern, text)
print("----- \n", result, end='\n')
print("----- \n")
print(result.string)
print(result.re)
print(result.pos)
print(result.endpos)
print(result.lastindex)
print(result.lastgroup)
print("----- \n")
print(result.group())
print(result.group(1, 2))
print(result.groups())
print(result.groupdict())
print(result.start(2))
print(result.end(2))
print(result.span(2))
print("----- \n")
'''
-----
<re.Match object; span=(2, 15), match='am shivers!!!'>
-----
i am shivers!!!
re.compile('(\\w+) (\\w+)([^\\w ]+)')
0
15
3
None
-----
am shivers!!!
('am', 'shivers')
('am', 'shivers', '!!!')
{}
5
12
(5, 12)
-----
[Finished in 0.1s]
'''
re.search(pattern, string[, flags])
search方法与match方法极其类似，区别在于match()函数只检测re是不是在string的开始位置匹配，search()会扫描整个string查找匹配，match（）只有在0位置匹配成功的话才有返回，如果不是开始位置匹配成功的话，match()就返回None。同样，search方法的返回对象同样match()返回对象的方法和属性
//ex_3.py
# -*- coding: utf-8 -*-
#re.search
import re
pattern = re.compile(r'shivers')
first = re.search(pattern, 'iamshivers')
second = re.search(pattern, 'iamshiverssss')
third = re.search(pattern, 'iamsshivers')
fourth = re.search(pattern, 'iamshivvers')
print(first)
if second:
print('is matched')
print(third)
print(fourth)
'''
<re.Match object; span=(3, 10), match='shivers'>
is matched
<re.Match object; span=(4, 11), match='shivers'>
None
[Finished in 0.3s]
'''
re.split(pattern, string[, maxsplit])
按照能够匹配的子串将string分割后返回列表。maxsplit用于指定最大分割次数，不指定将全部分割
//ex_4.py
# -*- coding: utf-8 -*-
#re.split
import re
pattern = re.compile(r'\d+')
text = "10shivers98shivers76shivers54"
result = re.split(pattern, text)
print(result)
'''
//分割4次
['', 'shivers', 'shivers', 'shivers', '']
[Finished in 0.2s]
'''
re.findall(pattern, string[, flags])
搜索string，以列表形式返回全部能匹配的子串
# -*- coding: utf-8 -*-
#re.findall
import re
pattern1 = re.compile(r'\d+')
pattern2 = re.compile(r'98shivers76')
pattern3 = re.compile(r'98(.*?)76') //此处使用了非贪婪匹配，尽可能少地匹配括号内部的格式。给定一个匹配规则，加上 ? 后就变成了非贪婪匹配，如 \d+? 即为非贪婪匹配
//关于非贪婪匹配，看这个正则表达式(\d??)(9*)
//注意\d?表示匹配0个或1个数字，后面第二个?表示非贪婪匹配，因此，给定字符串"9999"，\d? 匹配到的两个子串分别是""和"9"
//因为对于\d?来说，可以匹配1个9，也可以匹配0个9，但是因为后面的 ? 表示非贪婪匹配，它就会尽可能少的匹配，结果是匹配了0个9
text = "10shivers98shivers76shivers54"
result1 = re.findall(pattern1, text)
result2 = re.findall(pattern2, text)
result3 = re.findall(pattern3, text)
print(result1)
print(result2)
print(result3)
'''
['10', '98', '76', '54']
['98shivers76']
['shivers']
[Finished in 0.2s]
'''
经典实例
- 分组语法 捕获
(exp) 匹配exp,并捕获文本到自动命名的组里
(?exp) 匹配exp,并捕获文本到名称为name的组里，也可以写成(?'name'exp)
(?:exp) 匹配exp,不捕获匹配的文本 - 位置指定
(?=exp) 匹配exp前面的位置
(?<=exp) 匹配exp后面的位置
(?!exp) 匹配后面跟的不是exp的位置
(?<!exp) 匹配前面不是exp的位置 - 注释
(?#comment) 这种类型的组不对正则表达式的处理产生任
(?<=(href=")).{1,200}(?=(">))
# (?<=(href=")) 表示匹配以(href=")开头的字符串，并且捕获(存储)到分组中
# (?=(">)) 表示匹配以(">)结尾的字符串，并且捕获(存储)到分组中
(?<=(?:href=")).{1,200}(?=(?:">))
# (?<=(?:href=")) 表示匹配以(href=")开头的字符串，并且不捕获(不存储)到分组中
# (?=(?:">)) 表示 匹配以(">)结尾的字符串，并且不捕获(不存储)到分组中
(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')
# 抓取超链接标签的url
详细看https://www.cnblogs.com/chengege/p/11190782.html
