05数据解析—正则
回顾
1、爬虫
2、爬虫的分类：
-
通用爬虫
-
聚焦爬虫
-
增量式爬虫:监测
3、反爬机制
反反爬策略
4、robots，UA监测：UA伪装
5、http和https概念：服务器和客户端进行数据交互的某种形式。
6、常用的头信息:
- User-Agent：请求载体的身份标识
- Connection：close
- content-type
7、https的加密方式：证书秘钥加密
- 证书：是被应用在https的加密操作中的。
- 该证书是有证书认证机构颁布的,证书中包含了公钥(加密方式)。
8、request → get/post：
-
url
-
data/params：对请求参数的封装
-
headers：UA伪装
9、什么是动态加载的数据：由另一个额外的请求请求到的数据。
- ajax
- js
10、如何鉴定页面中是否有动态加载的数据?
- 局部搜索
- 全局搜索
11、对一个陌生网站进行爬取前的第一步
- 确定你要爬取的数据是否为动态加载的！！
数据解析
1、解析：根据指定的规则对数据进行提取。
作用：实现聚焦爬虫。
2、聚焦爬虫的编码流程：
-
指定url
-
发起请求
-
获取响应数据
-
数据解析
-
持久化存储数
3、据解析的方式：
- 正则
- bs4
- xpath
- pyquery(拓展)
4、数据解析的通用原理是什么？
-
数据解析需要作用在页面源码中（一组html标签组成的）
-
html的核心作用：展示数据
-
html是如何展示数据：数据被放置在html标签之中，或者是在属性中
5、通用原理：
-
标签定位
-
取文本or取属性
正则实现的数据解析
需求：爬取糗事百科中糗图数据
我去打开网页的时候，发现糗事百科的网页版本已经没有了，麻了麻了。
所以找了另一个网页，天堂图片网：https://www.ivsky.com/bizhi/
实现过程
1、导入包和反爬机制
import requests
# 反爬
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 Edg/97.0.1072.55'
}
2、爬取图片数据
先爬一张图片试试，这里有两个方法
方式1：
url = 'https://img.ivsky.com/img/bizhi/li/202110/02/secrets_of_the_jungle-006.jpg'
img_data = requests.get(url=url,headers=headers).content # content返回的是byte类型的数据
with open('./1.jpg','wb') as fp:
fp.write(img_data)
方式2：
from urllib import request
url = 'https://img.ivsky.com/img/bizhi/li/202110/02/secrets_of_the_jungle-006.jpg'
request.urlretrieve(url,'./2.jpg')
方式1和方式2对于图片数据爬取的操作最大的不同之处：方式2不可以使用UA伪装的机制
urllib就是一个比较老的网络请求的模块，在requests模块没有出现之前,请求发送的操作使用的都是urllib
完整代码
import requests
import re
import os
if __name__=="__main__":
#创建一个文件夹
if not os.path.exists('./qiutuLibs'):
os.mkdir('./qiutuLibs')
url='https://www.qiushibaike.com/imgrank/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
#使用通用爬虫对url对应的一整张页面进行爬取
page_text = requests.get(url=url,headers=headers).text
#需要使用聚焦爬虫将页面中所有图片进行解析
# < div class ="thumb" >
# < a href = "/article/125003930" target = "_blank" >
# < img src = "//pic.qiushibaike.com/system/pictures/12500/125003930/medium/14Z46S72MMC2P4ZC.jpg" alt = "糗事#125003930"
# class ="illustration" width="100%" height="auto" >
# < / a >
# < / div >
ex= '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
img_src_list = re.findall(ex,page_text,re.S)
print(img_src_list)
for src in img_src_list:
#拼接出一个完整的图片url
src ='https:'+src
#请求到了图片的二进制数据
img_data = requests.get(url=src,headers=headers).content
#生成图片名称
img_name=src.split('/')[-1]
#图片最终存储的路径
img_Path='./qiutuLibs/'+img_name
with open(img_Path,'wb') as fp:
fp.write(img_data)
print(img_name,'下载成功！！！')
