day 24 内置模块re
1.正则表达式,匹配字符串
正则表达式是对字符串操作的一种逻辑公式.我们一般使用正则表达式对字符串镜子那个匹配和过滤,使用正则的优缺点:
优点: 灵活,功能性强,逻辑性强
缺点: 上手难.一旦上手,会爱上这个东西
工具:各大文本编辑器一般都有增则匹配功能.我们也可以去http://tool.chinaz.com/regex/进行在线测试
元字符:
. 匹配除换行符以外的任意字符
\w 匹配字母数字或下划线
\s 匹配任意的空白符
\d 匹配数字
\n 匹配一个换行符
\t 匹配一个制表符
\b 匹配一个单词的结尾
^ 匹配字符串的开始
$ 匹配字符串的结尾
\W 匹配非字母或数字或下划线
\D 匹配非数字
\S 匹配非空白符
a|b 匹配字符a或字符b
( ) 匹配括号内的表达式,也表示一个组
[...] 匹配字符组的字符
[^...] 匹配除字符组中字符的所有字符
量词:
*重复零次或更多次
+ 重复一次或更多次
? 重复零次或一次
{n} 重复n次
{n, } 重复n次或更多次
{n,m} 重复n到m次
贪婪匹配和惰性匹配
贪婪匹配: .* .+
惰性匹配: .*? 尽可能少的匹配
转义:
\\\\n => \\n => \n
在前面添加r,原样输出
分组: 使用()
在python中使用正则.re
<?P<name>正则>
re模块是python提供的一套关于处理正则表达式的模块,核心功能有四个:
findall() 查找所有,返回list
finditer() 查找返回,返回的是迭代器,
search() 搜索. 搜索到第一个结果返回
match() 匹配. 收到一个结果返回,从头开始匹配
compile( ) 编译
group('name') 获取数据
re.S 干掉 . 的换行
# re的工作是在python中执行正则表达式
import re
# find
result = re.findall("\d+", "baby的电话号是: 185123456789")
print(result) #['185123456789']
it = re.finditer("\d+", "baby123456789的电话号是: 185123456789")
for el in it:
print(el.group()) # 分组 #123456789
#185123456789
search 搜索, 查找
一旦匹配到结果. 直接返回, 如果匹配不到结果. 返回None
result = re.search("\d", "宝宝的电话是111")
print(result) #<_sre.SRE_Match object; span=(6, 7), match='1'>
print(result.group()) #1
匹配, 从头开始匹配. 相当于在你正则前面加了一个^
result = re.match("\d+", "157宝宝的电话是:")
print(result.group()) ###157
search和match的区别: search查找. 找到了结果就返回. match. 从头开始匹配.
# 坑: 爬虫的一个重点
# .*?
result = re.finditer(r"姓名:(?P<name>.*?), 爱好:(?P<hobby>.*?),", "姓名:宝宝, 爱好:女,")
for el in result:
print(el.group("name"), el.group("hobby"))
# 正则的常用操作
result = re.split("\d+", "宝宝110来找你了. 你回头收拾收拾去119报道")
print(result)
用正则替换
s = re.sub("\d+", "__sb__", "宝宝110来找你了. 你回头收拾收拾去119报道")
print(s)
s = re.subn("\d+", "__sb__", "宝宝110来找你了. 你回头收拾收拾去119报道") # 替换了xxx次
print(s)
code = "for i in range(10): print(i)"
c = compile(code, "", "exec") # 编译
exec(c) # 快速执行
reg = re.compile(r"\d+") # 编译了一段正则. 加载了一段正则
lst = reg.findall("呵呵, 宝宝才不去110呢.他要去120了")
print(lst)
re.findall(r"\d+", "呵呵, 宝宝才不去110呢.他要去120了")
lst = re.findall(r"a(?:\d+)c", "a123456c") # 把括号python中的分组变成了原来正则表达式中的分组
print(lst)
爬取电影天堂
# 爬取电影天堂
from urllib.request import urlopen
content = urlopen("https://www.dytt8.net/html/gndy/dyzz/20181219/57954.html").read().decode("gbk")
# print(content)
reg = r'<div id="Zoom">.*?片 名(?P<name>.*?)<br />◎年 代(?P<years>.*?)<br />.*?◎上映日期(?P<date>.*?)<br />'+ \
'.*?◎主 演(?P<main>.*?)◎简 介.*?<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<download>.*?)">'
it = re.finditer(reg, content, re.S) # re.S 去掉.里面的\n
for el in it:
print(el.group("name"))
print(el.group("years"))
print(el.group("date"))
print(el.group("main").replace("<br /> ", ", "))
print(el.group("download"))
