爬虫之requests模块
一、爬虫介绍
1、作用
使用程序 模拟发送http请求---》得到http响应---》把响应的数据解析出来---》存储起来
2、做爬虫需要掌握的技术
web端爬虫(网页)
-抓包: -抓包工具---》浏览器,charles,fiddler。。。 -发送http请求的模块 -requests:同步的---》不仅仅做爬虫用 调用第三方api就可以使用 -request-html: -aiohttp:异步的http模块 -解析库: http响应---》可能是xml,html,json,文件,图片。。。---》响应中解析出想要的数据 -beautifulsoup4---》xml/html -lxml--->xml/html -selenium--->请求加解析(本质是模拟浏览器) -json -存储:mysql,redis,es,mongodb。。。。 -pymysql:aiomysql -redis:aioredis -elasticsearch.py -py-mongo
移动端爬虫(app)
-抓包,发请求,解析,存储跟web一样的 -对app进行反编译---》jadx -安卓:java写的app---》把app反编译成java---》懂java---》看懂逻辑---》使用python模拟这个过程 -hook技术---》frida -c语言写加密---》用java调用c语言的加密方式---》xx.so-->动态链接库文件 -反编译 so文件---》IDA---》反编译成汇编和c -动态调试 -python模拟这个过程即可 -反扒 -请求头反扒:user-agent,referfer:上一个访问的地址是什么 -反扒:无限调试 -封ip---》ip代理池 -封账号---》cookie池 -js加密---》js逆向
3、动态链接库
# 百度,谷歌 搜索引擎本质其实就是个大爬虫---》不停的在互联网上爬取页面---》存到自己的库中 使用搜索的时候---》去百度的数据库中查询相关的关键字----》显示在页面上---》当我们点击某一个---》真正的跳转到 真正的搜索到的页面 百度做爬取时---》对动态页面的爬取权重要低 seo优化---》保证我们公司的网站通过关键字搜索,显示在第一个 -伪静态---》 sem:付费买关键词
二、requests模块
1、requests封装
使用requests可以模拟浏览器的请求,比起之前用到的urllib(内置模块),requests模块的api更加便捷(本质就是封装了urllib3)
注意:requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求
-混合项目---》拿回来的页面---带数据
-分离项目---》拿回来的页面--》数据是空的--》再分析接口---》再发请求才能拿到真正的数据
-看到一个页面有数据---》用requests发送请求---》拿回来的,可能跟看到的不一样
2、快速使用
安装:pip install requests import requests res=requests.get('https://www.cnblogs.com/') # res中会有:http响应 响应头的,响应体的 print(res.text) # 响应体的文本字符串(可能会乱码)
三、携带请求参数
1、 get请求携带请求参数
# 方式一:直接拼在后面 res=requests.get('https://www.cnblogs.com/?ordering=-id&search=课程') # 方式二:使用params参数 res=requests.get('https://www.cnblogs.com/',params={'ordering':'-id','search':'课程'}) print(res.text)
四、url 编码和解码
1、parse 解码与编码
from urllib import parse # url解码 # res = parse.unquote('%E7%BE%8E%E5%A5%B3') # url编码 res=parse.quote('刷币') # %E5%88%B7%E5%B8%81 print(res)
五、携带请求头
1、请求头中可能有的:User-Agent,referer,cookie,Host
header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36' } res = requests.get('https://www.sogou.com/web?query=%E7%BE%8E%E5%A5%B3', headers=header) # res=requests.request('get','url',headers=header) print(res.text)
六、发送post请求
1、请求体中:两种方式:
data={}--->编码格式urlencoded---》key=value&key=value
json={}---》编码格式是json
res=requests.post('url')
花花手机的登录为例(验证码并没有真正的用上)
data = { 'username': 'jing@outlook.com', 'password': '1qazXSW2', 'captcha': 'xxxx', 'ref': 'http://www.aa7a.cn/', 'act': 'act_login', } res = requests.post('http://www.aa7a.cn/user.php', data=data) print(res.text)
七、携带cookie
1、cookie的补充
后端签发token,前端保存token到cookie
后端:
序列化类:
class LoginSerializers(serializers.Serializer): def validate(self, attrs): user = self._get_user(attrs) token = self._get_token(user) print(user) self.context['username'] = user.username self.context['token'] = token return attrs def _get_user(self, attrs): pass def _get_token(self, user): payload = jwt_payload_handler(user) token = jwt_encode_handler(payload) return token
视图函数:
def _login(self, request, *args, **kwargs): ser = self.get_serializer(data=request.data) ser.is_valid(raise_exception=True) username = ser.context.get('username') token = ser.context.get('token') icon = ser.context.get('icon') return APIResponse(username=username, token=token, iocn=icon)
前端:
this.$axios({ url: this.$settings.BASE_URL + 'user/login/mul_login/', method: 'post', data: { username: this.username, password: this.password, } }).then(response => { console.log(response) if (response.data.code === 100) { let username = response.data.username; let token = response.data.token; this.$cookies.set('username', username, '7d'); this.$cookies.set('token', token, '7d'); this.$emit('success', response.data); this.$message({ message: '登录成功', type: 'success', duration: 1000, }); this.$router.push('/index')
2、登录的时候请求头中带有cookie
import requests header = { 'Cookie': 'ECS_ID=f7a1f8e766253a8afdaf4de7714db1590fe822ec; Hm_lvt_c29657ca36c6c88e02fed9a397826038=1699003304; Qs_lvt_201322=1699003303; __xsptplus422=422.1.1699003342.1699003456.2%234%7C%7C%7C%7C%7C%23%23%23; ECS[username]=jingzhiz%40outlook.com; ECS[user_id]=67693; ECS[password]=d6e63b481ac9a3371c1d6e38129cde70; cto_bundle=FcDjMV80d3BCRXQ5WlMzQnRjJTJGSFpobExSZ3AlMkJkNDBiJTJCSGhSdFlIWnVtQ21Uc0NobFg1UlpNcHlFZEQlMkJVVm9Wakx2WVBQZG9GZ1pPYTBoZVVrWUhPVWxqZ05YYVNnb1JBMiUyQlE0SkFqVkg1YmVEV0QzUVJwMWxTeTNLRzV3VTZqSmZUQm0zQlNLSDQ1UGNyOFV4MDA1ZmRVSjlBJTNEJTNE; ECS[visit_times]=2; ECS[display]=grid; Qs_pv_201322=826829951973786900%2C2872777022353158700%2C1321481927929253400%2C4132523221394958300%2C4434797302945210000; Hm_lpvt_c29657ca36c6c88e02fed9a397826038=1699005846' } res = requests.get('http://www.aa7a.cn/', headers=header) print('jxxz@outlook.com' in res.text) # 没有携带cookie 访问
没有cookie时,模拟的是没登录,打印邮箱为False。
3、模拟自动点赞
携带cookie 方式一:放到headers中
https://dig.chouti.com/ 一个新闻小网站
import requests data = { 'linkId': 40496403 # 携带数据 } header = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36', 'Cookie': 'deviceId=web.eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJqaWQiOiI5ZjdhMzg4My1lNzE3LTRjZWItYTFlOS00M2RlZjViNzcxZTQiLCJleHBpcmUiOiIxNzAxNTk2ODg5NTkwIn0.hObzQIi48gGyQquOSJ0khw86KOZh1m5Fp-EZT43o2LU; Hm_lvt_03b2668f8e8699e91d479d62bc7630f1=1699004891; __snaker__id=M7mhrtczSgObqvHu; gdxidpyhxdE=fN%2FaXpZBkwOHh5o%2Bpt5RN7hdShpijvAsDHmyQY6PacPHun2i50Htl3z17tbmRxRg1HM2UybdYQ%2Br5ectzMdH4JHNrYmTh3c0eZ8dDZy3S7XLuNg1W6skfuVoEpBRv7vvyBnRz%2F03Wq87Av4e3shXbxrYlLucCjzIuXo4mkugwdoCPiSk%3A1699005793876; YD00000980905869%3AWM_NI=iG0Xe6VFKNVNcScLWP5IqGCv1Bdy9m8tdF7QfPRZsBWfXeLO%2B11YN4aK7d5hpXZYNc7pmGXHxzGFK4oy%2FR8pdensbNfyY%2BEsxVIuCTWdy5h1VHJSQZFiUhCMAN8iREcjY1g%3D; YD00000980905869%3AWM_NIKE=9ca17ae2e6ffcda170e2e6ee92c46efc8b9f8bcb50a9e78aa6c15a838f8eb0d439fc92008cf952ab9a83acd12af0fea7c3b92aab9900b9e83e969a85afd546a18dadadd65cf797bfa8c27ef39eac9abc67fcacaca7b65ba6909ebbf24a95ba9886cf45e9efffbacd40a395f985b864b48896bacd69f5b0a3a8db44bca689a7ca40ada7e1b3bb7ca8bba294e146a6a797ccc879bc8a8796c26095bcb7d6eb3b969886b4d45286b79b89c2478392f88ad14fa1b697d2e637e2a3; YD00000980905869%3AWM_TID=Gm68Ql837AVFUFABEAfBjpdlxzNnBJeQ; token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJqaWQiOiJjdHVfNjk5MDA0OTU3NjgiLCJleHBpcmUiOiIxNzAxNTk2OTU3ODM5In0.ZotjKwHkfg7aUL2epOIYBpv3jIxm2kuKWKNyKsz9RoI; Hm_lpvt_03b2668f8e8699e91d479d62bc7630f1=1699010536' } res = requests.post('https://dig.chouti.com/link/vote', data=data, headers=header) print(res.text)
4、携带cookie 方式二
def cookie_str_to_cookie_dict(s): return {item.split('=')[0]: item.split('=')[1] for item in s.split(';')} from utils import cookie_str_to_cookie_dict import requests s = 'ECS_ID=f7a1f8e766253a8afdaf4de7714db1590fe822ec; Hm_lvt_c29657ca36c6c88e02fed9a397826038=1699003304; Qs_lvt_201322=1699003303; __xsptplus422=422.1.1699003342.1699003456.2%234%7C%7C%7C%7C%7C%23%23%23; ECS[username]=jingzhiz%40outlook.com; ECS[user_id]=67693; ECS[password]=d6e63b481ac9a3371c1d6e38129cde70; ECS[display]=grid; cto_bundle=apdAYl80d3BCRXQ5WlMzQnRjJTJGSFpobExSZ2dmY1BvaVpTMnJiYXJlUTgzJTJGdjVTVGdQSGdvN1lpZXBuaGF5ZWc5OTlXSkFIdFZuQ0k4Y25xSHpoVWoxaDhTdWdGWWRHUGN6czZCMXRWOXB3Sk9OVkxXTTFYMU9KQUxiMnNPNCUyRkklMkJrNURpN1N3dGJNWXdYcSUyRm1jc01ZTENnd3EzSXg3cE05MVZFMkswbUtSJTJGWkRLdGRsZE9PN1RmYW51UUI2M09lYUttOVU; ECS[visit_times]=3; Qs_pv_201322=1321481927929253400%2C4132523221394958300%2C4434797302945210000%2C4303319800648504000%2C3623981280408506400; Hm_lpvt_c29657ca36c6c88e02fed9a397826038=1699011224' res = requests.get('http://www.aa7a.cn/', cookies=cookie_str_to_cookie_dict(s)) print('jingzhiz@outlook.com' in res.text) # 携带cookie 访问, 结果为True
5、携带cookie 方式三
cookies参数携带RequestsCookieJar
data = { 'username': '616564099@qq.com', 'password': 'lqz123', 'captcha': 'xxxx', 'ref': 'http://www.aa7a.cn/', 'act': 'act_login', } res = requests.post('http://www.aa7a.cn/user.php', data=data) print(res.text) print(type(res.cookies.get_dict())) # 登录成功的cookie,RequestsCookieJar 本质就是字典 from requests.cookies import RequestsCookieJar # 拿到登录后的cookie,再向首页发送请求 res = requests.get('http://www.aa7a.cn/', cookies=res.cookies) print('616564099@qq.com' in res.text) # 没有携带cookie 访问
6、session 的使用---》原来每次都需要手动携带cookie
from requests import Session session=Session() data = { 'username': '616564099@qq.com', 'password': 'lqz123', 'captcha': 'xxxx', 'ref': 'http://www.aa7a.cn/', 'act': 'act_login', } res = session.post('http://www.aa7a.cn/user.php', data=data) res = session.get('http://www.aa7a.cn/') # 可以自动处理cookie,不需要手动携带 print('616564099@qq.com' in res.text)
八、响应对象
1、响应对象
import requests respone = requests.get('http://www.aa7a.cn/') # print(type(respone))# 类的属性跟方法 # from requests.models import Response # print(respone.text) # 响应体转成了字符串 # print(respone.content) # 响应体的二进制 # print(respone.status_code) # 响应状态码 # print(respone.headers) # 响应头 print(respone.cookies) # 响应cookie print(respone.cookies.get_dict()) # print(respone.cookies.items()) # 响应cookie---》转成key-value形式 # # print(respone.url) # 请求地址 # print(respone.history) # 了解:访问过的地址 针对于 重定向的情况,才会有值 # # print(respone.encoding) # 响应编码
2、下载一个视频
respone = requests.get('https://img3.chouti.com/CHOUTI_231102_8B10E74FBE2646748DE951D4EAB1F1E7.jpg') # print(respone.content) # 保存到本地--》就是这张图片 with open('致命诱惑.jpg', 'wb') as f: # f.write(respone.content) # for line in respone.iter_content(1024): for line in respone.iter_content(): f.write(line)
九、高级用法
1、上传文件
## 10 高级用法: # 1 关于https报错问题 ''' 以后访问https地址时,可以会报错,访问https需要携带证书---》没带就会报错 不携带证书---》不报错 respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200 ''' import urllib3 import requests urllib3.disable_warnings() respone = requests.get('https://www.12306.cn', verify=False) print(respone.text) # 2 超时设置 # import requests # respone=requests.get('https://www.baidu.com',timeout=0.0001) # 3 认证设置 ---》不需要知道了,现在没有这种了---》不是前端认证 # 4 异常处理 # 5 上传文件 # import requests # files = {'file': open('a.jpg', 'rb')} respone = requests.post('http://httpbin.org/post', files=files) print(respone.status_code) # 后端存储 request.FILES.get('file')