数据解析
- 请求顺序:
- 指定url
- 发起请求
- 获取响应数据
- 数据的解析
- 持久化存储
正则解析
- 使用正则匹配:
- re.M:多行匹配
re.S:单行匹配（*）
import requests
import re
import os
from urllib import request
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
#抓取某某百科中的图片数据
url = 'https://www.*****.com/pic/'
page_text = requests.get(url=url,headers=headers).text
if not os.path.exists('qiutu'):
os.mkdir('qiutu')
#数据解析：图片的url
img_url_list = re.findall('<div class="thumb">.*?<img src="(.*?)" alt.*?</div>',page_text,re.S)
for img_url in img_url_list:
img_url = 'https:'+img_url
img_name = img_url.split('/')[-1]
img_path = 'qiutu/'+img_name
request.urlretrieve(img_url,img_path)
print(img_path,'下载成功')
