正则爬虫案例
#coding:utf-8 import requests import re import json url='https://movie.douban.com/top250?start=0&filter=' #豆瓣网 def get_page(url):
#获取网页上的数据 response_html=requests.get(url) #response_html.encoding = response_html.apparent_encoding return response_html.text def run(url): response=get_page(url)
#编译匹配规则,找出用的数据 obj=re.compile('<div class="item">.*?<em.*?>(?P<id>\d+)</em>.*?<span class="title">(?P<title>.*?)</span>.*?<p .*?>(?P<info>.*?)</p>.*?<span class="rating_num" .*?>(?P<rating>.*?)</span>.*?<span>(?P<appraise>\w+)</span>',re.S) res=obj.finditer(response) file={} for i in res: file[i.group('id')]=(i.group('title'),i.group('rating'),i.group('appraise')) # print(file)
#将有用的信息转成json格式,以字典的格式储存到文件中
content=json.dumps(file,ensure_ascii=False) f = open('doubian.txt', 'a') f.seek(0,2) f.write(content+'\n') file={} i=0 while i < 251:
#循环取出所有网页里的内容(根据网页不同进行更改) a=i run(url) i+=25 url=re.sub('start=\d+','start='+str(i),url) print(url)