Python学习 Day 024 - 正则表达式
主要内容:
- 1. 正则表达式
- 2. re模块
1.正则表达式
正则表达式是对字符串操作的一种逻辑公式. 我们一般使用正则表达式对字符串串进行匹配和过滤,使用正则的优缺点:
优点: 灵活, 功能性强, 逻辑性强.
缺点: 上手难,旦上手, 会爱上这个东西
工具: 各大文本编辑器一般都有正则匹配功能. 我们也可以去 http://tool.chinaz.com/regex/进行在线测试.
正则表达式由普通字符和元字符组成,普通字符包含大小写字母, 数字,在匹配普通字符的时候我们直接写就可以了
关于元字符:
(1) 字符组
字符组很简单用[]括起来,在[]中出现的内容会被匹配,例如:[abc] 匹配a或b或c
如果字符组中的内容过多还可以使用,例如: [a-z] 匹配a到z之间的所有字母, [0-9]匹配所有阿拉伯数字
[a-zA-Z0-9] : 匹配的是大写字母,小写字母和阿拉伯数字
(2)简单元字符
常用的基本元字符有:
- . 匹配除换行符以外的任意字符
- \w 匹配字母或数字下划线
- \s 匹配任意的空白符
- \d 匹配数字
- \n 匹配一个换行符
- \t 匹配一个制表符
- \b 匹配一个单词的结尾
- ^ 匹配字符串的开始
- $ 匹配字符串的结尾
- \W 匹配非字母或数字或下划线
- \D 匹配非数字
- \S 匹配非空白符
- a|b 匹配字符a或字符b
- () 匹配括号内表达式,也表示一个组
- [......] 匹配字符组中的字符
- [^...] 匹配除了字符组中字符的所有字符
(3) 量词
当一次性匹配很多个字符时,需要用到量词.
- * 重复零次或更多次
- + 重复一次或更多次
- ? 重复零次或一次
- {n} 重复n次
- {n,} 重复n次或更多次
- {n,m} 重复n到m次
(4) 惰性匹配和贪婪匹配
在量词中的 *, +,{} 都属于贪婪匹配,就是尽可能多的匹配到结果.
str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.* 此时匹配的是整句话
在使用 .* 后面如果加了? 则是尽可能的少匹配,表示惰性匹配
str: 麻花藤昨天让英雄联盟关服了 reg: 麻花藤.*? 此时匹配的是 麻花藤 str: <div>胡辣汤</div> reg: <.*> 结果: <div>胡辣汤</div> str: <div>胡辣汤</div> reg: <.*?> 结果: <div> </div> str: <div>胡辣汤</div> reg: <(div|/div*)?> 结果: <div> </div>
.*?x 的特殊含义找到下一个x为止
str: abcdefgxhijklmn reg: .*?x 结果: abcdefgx
(5) 分组
在正则中使用()进行分组.
比如. 我们要匹配身份证号,身份证号分成两种,老的身份证号有15位,新的身份证号有18位,并且新的身份证号结尾有可能是x
给出以下正则: ^[1-9]\d{13,16}[0-9x]$ 错误 ^[1-9]\d{14}(\d{2}[0-9x])?$ 正确 ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ 正确
(6)转义:
在正则表达式中, 有很多有特殊意义的是元字符,比如\n和\s等,如果要在正则中匹 配正常的"\n"而不是"换行符"就需要对"\"进行转义, 变成'\\'.
在python中, 无论是正则表达式, 还是待匹配的内容, 都是以字符串的形式出现的, 在字符串中\也有特殊的含义, 本身还需要转义.
所以如果匹配一次"\n", 字符串中要写成'\\n', 那么正则里就要写成"\\\\n",这样就太麻烦了. 这个时候我们就用到了r'\n'这个概念, 此时的正则是r'\\n'就可以了
2. re模块
re模块是python提供的一套关于处理正则表达式的模块.核心功能有四个:
(1) findall 查找所有. 返回list
import re lst = re.findall("a","adsadjafaaowjf") print(lst) #['a', 'a', 'a', 'a', 'a'] lst = re.findall(r"\d+","12年了,你只挣了10000") print(lst) #['12', '10000']
(2)search进行匹配,但是如果匹配到了第一个结果,就会返回这个结果,如果匹配不上search返回的则是None
ret = re.search(r"\d","20年了,你只挣了20000").group() print(ret)
(3)match 只能从字符串的开头进行匹配
ret = re.match('a', 'abc').group() print(ret) # a
(4) finditer 和findall差不多,只不过这时返回的是迭代器
it = re.finditer("m","mdhahsfofncamdnmdadod") for el in it : print (el.group()) #依然需要分组
(5)其他操作
ret = re.split("[ab]","qwerafjbcd") #先按"a"分割得到"qwer"和"fjbcd",再对"qwer"和"fjbcd"按"b"分割 print(ret) #['qwer', 'fj', 'cd']
ret = re.sub(r"\d+","_sb_","alex250taibai250wusir250ritian38") # 把字符串中的数字换成__sb__ print(ret) #alex_sb_taibai_sb_wusir_sb_ritian_sb_
ret = re.subn(r"\d+","_sb_","alex250taibai250wusir250ritian38") # 把字符串中的数字换成__sb__返回元组(替换的结果,替换了多少次) print(ret) #('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)
compile()
obj = re.compile(r'\d{3}') # 将正则表达式编译成为一个正则表达式对象,规则要匹配的是3个数字 ret = obj.search("ajdjffafk456") # 正则表达式对象调⽤用search, 参数为待匹配的字符串串 print(ret.group()) #456
*爬虫重点:
obj = re.compile(r"(?P<id>\d+)(?P<name>e+)") # 从正则表达式匹配的内容每个组起名字 ret = obj.search("abc123eee") #搜索 print(ret.group()) #123eee print(ret.group("id")) #123 #获取id组的内容 print(ret.group("name")) #eee 获取name组的内容
(6)两个坑
注意: 在re模块中和我们在线测试工具中的结果可能是不一样的
ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['www.oldboy.com']
split里也有一个坑
ret=re.split("\d+","eva3egon4yuan") print(ret) #结果 ： ['eva', 'egon', 'yuan'] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan'] #在匹配部分加上（之后所切出的结果是不不同的)
#没有（）的没有保留所匹配的项，但是有()的却能够保留了匹配的项，
#这个在某些需要保留匹配部分的使用过程是非常重要的
Homework
1.手机号的匹配
2.将douban250的电影信息爬下来.并将信息写入文件中
import re from urllib.request import urlopen import ssl #有时候需要 ssl._create_default_https_context = ssl._create_unverified_context def get_page(url): response = urlopen(url) return response.read().decode("utf-8") def parse_page(s): outcome =re.compile(r'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*? <span class="title">(?P<title>.*?)</span>.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*? <span>(?P<comment_num>.*?)评价</span>',re.S) result = outcome.finditer(s) for i in result: yield {"id": i.group("id"), "title": i.group("title"), "rating_num": i.group("rating_num"), "comment_num": i.group("comment_num"), } def main(num): url ='https://movie.douban.com/top250?start=%s&filter=' % num response = get_page(url) result = parse_page(response) with open("movie_info1", "a", encoding="utf8") as f: for el in result: print(el) data = str(el) f.write(data + "\n") count = 0 for i in range(10): main(count) count += 25
3.将dytt 最新电影下载的一部分爬下来,并写入文件.
import re from urllib.request import urlopen # import ssl #有时候需要 # ssl._create_default_https_context = ssl._create_unverified_context def get_page(url): response = urlopen(url) return response.read().decode("gbk") zz1 = re.compile(r"\[<a.*?>最新电影下载</a>\]<a href='(?P<movie_html>.*?)'>.*?</a>",re.S) zz2 = re.compile(r'<div id="Zoom">.*?◎译 名(?P<yiming>.*?)<br />◎片 名(?P<pianming>.*?)<br />' r'◎年 代(?P<year>.*?)<br />◎产 地(?P<place>.*?)<br />' r'◎类 别(?P<leibie>.*?)<br />◎语 言(?P<language>.*?)<br />◎' r'字 幕(?P<zimu>.*?)<br />◎上映日期(?P<data>.*?)<br />.*?' r'◎豆瓣评分(?P<pingfen>.*?)from .*? <br />.*?◎导 演(?P<daoyan>.*?)<br />' r'◎主 演(?P<zhuyan>.*?)<br /><br />◎简 介 <br /><br />(?P<jianjie>.*?)<br /><br /><img .*?>.*?<td .*?><a href="(?P<download>.*?)">', re.S) url = "http://www.dytt8.net" content=get_page(url) ret1 = zz1.finditer(content) dic = {} with open("movie_info", "a", encoding="utf8") as f: for el in ret1: second_url = el.group("movie_html") second_content = get_page(url+second_url) ret2 = zz2.finditer(second_content) # print("******************************************************************************************************") for info in ret2: # print(re.sub("[\u3000]", "",info.group("yiming"))) # print(re.sub("[\u3000]", "", info.group("pianming"))) # print(re.sub("[\u3000]", "", info.group("year"))) # print(re.sub("[\u3000]", "", info.group("place"))) # print(re.sub("[\u3000]", "", info.group("leibie"))) # print(re.sub("[\u3000]", "", info.group("language"))) # print(re.sub("[\u3000]", "", info.group("zimu"))) # print(re.sub("[\u3000]", "", info.group("data"))) # print(re.sub("[\u3000]", "", info.group("pingfen"))) # print(re.sub("[\u3000]", "", info.group("daoyan"))) # print(re.split("<br />",re.sub("[\u3000]", "", info.group("zhuyan")))) # print(re.sub("[\u3000]", "", info.group("jianjie"))) # print(re.sub("[\u3000]", "", info.group("download"))) dic = {"译名":re.sub("[\u3000]", "",info.group("yiming")),"片名":re.sub("[\u3000]", "", info.group("pianming")), "年份":re.sub("[\u3000]", "", info.group("year")),"产地":re.sub("[\u3000]", "", info.group("place")), "类别":re.sub("[\u3000]", "", info.group("leibie")),"语言":re.sub("[\u3000]", "", info.group("language")), "字幕":re.sub("[\u3000]", "", info.group("zimu")),"日期":re.sub("[\u3000]", "", info.group("data")), "评分":re.sub("[\u3000]", "", info.group("pingfen")),"导演":re.sub("[\u3000]", "", info.group("daoyan")), "主演":re.split("<br />",re.sub("[\u3000]", "", info.group("zhuyan"))),"简介":re.sub("[\u3000]", "", info.group("download")), "下载链接":re.sub('[\u3000]', "", info.group('download'))} data = str(dic) f.write(data + "\n")
