破解反爬虫方法1
cookie与session
cookie与session的发明是专门用来解决http协议无状态的特点。
早期的网址不需要保存用户状态，所有来访问都是相同的数据。
随着时代的发展越来越多的网址需要保存用户状态。
cookie
保存在客户端浏览器上面的键值对数据。
用户第一次登录成功之后，浏览器会保存用户名和密码，之后访问网站都会自动带着该用户名和密码。
session
保存在服务端上面的用户相关数据。
用户第一次登录成功之后，服务端会返回给客户端一个(有时是多个)随机字符串。
客户端浏览器保存该随机字符串之后访问网站都带着该随机字符串。
cookie和session的关系
session需要依赖cookie
只要是涉及到用户登录都需要使用到cookie
PS：浏览器也可以拒绝保存数据。
cookie实战
浏览器network选项中，请求体对应的关键字是Form Data
eg：华华手机
登陆地址：
http://www.aa7a.cn/user.php
请求体数据格式：
username: 616564099@qq.com password: 123123 captcha: XQB4 remember: 1 ref: http://www.aa7a.cn act: act_login
写代码一定是先使用浏览器研究，再写代码
研究登录数据提交给后端的url地址
研究登录post请求携带的请求体数据格式
模拟发送post请求
import requests
res = requests.post('http://www.aa7a.cn/user.php',
data={
"username": "616564099@qq.com",
"password": "lqz123",
"captcha": "kuyb",
"remember": 1,
"ref": "http://www.aa7a.cn/user.php?act=logout",
"act": "act_login"
} # data参数携带请求体数据
)
# 获取cookie数据
print(res.cookies.get_dict())
返回结果
# 用户名或密码错误的情况下返回的cookie数据
{'ECS[visit_times]': '1', 'ECS_ID': '69763617dc5ff442c6ab713eb37a470886669dc2'}
# 用户名和密码都正确的情况下返回的cookie数据
{
'ECS[password]': '4a5e6ce9d1aba9de9b31abdf303bbdc2',
'ECS[user_id]': '61399',
'ECS[username]': '616564099%40qq.com',
'ECS[visit_times]': '1',
'ECS_ID': 'e18e2394d710197019304ce69b184d8969be0fbd'
}
使用cookie访问网址
user_cookie = res.cookies.get_dict()
res1 = requests.get('http://www.aa7a.cn/',
cookies=user_cookie
)
if '616564099@qq.com' in res1.text:
print('登录身份访问')
else:
print('cookie存在错误')
获取大数据
stream参数
一点一点的取，比如下载视频时，如果视频100g，用response.content然后一下子写到文件中是不合理的。
import requests
response=requests.get('https://www.douyin.com/video/6981234494401514760?previous_page=main_page&tab_name=home',
stream=True)
with open('d.mp4','wb') as f:
for line in response.iter_content(): # 一行一行读取内容
f.write(line)
json格式
json格式的数据有一个非常显著的特征：引号肯定是双引号。
在网络爬虫领域，其实内部有很多数据采用的都是json格式。
前后端数据交互一般使用的都是json格式
import requests
res = requests.get('https://api.bilibili.com/x/player/pagelist?bvid=BV1QE41147hU&jsonp=jsonp')
print(res.json()) # 可以直接将json格式字符串转换成python对应的数据类型
ssl相关报错
一般在苹果电脑比较常见，直接百度搜索即可。
IP代理池
有很多网站针对客户端的IP地址也存在防爬措施
例如：一分钟内同一个IP地址访问该网站的次数不能超过30次，超过了就封禁该IP地址。
如何解决
IP代理池
里面有很多的IP地址每次访问从中随机挑选一个
代理设置
先发送请求给代理，然后由代理帮忙发送（封IP是常见的事情）
import requests
proxies={
'http':'114.99.223.131:8888',
'http':'119.7.145.201:8080',
'http':'175.155.142.28:8080',
}
respone=requests.get('https://www.12306.cn',
proxies=proxies)
cookie代理池
有很多网站针对客户端的cookie也存在防爬措施
例如：一个cookie访问该网站的次数不能超过30次，超过了就封禁该cookie
如何解决
cookie代理池
里面有很多cookie每次访问从中随机挑选一个
respone=requests.get('https://www.12306.cn',
cookies={})
cookie代理池只能自己手写文件然后使用。
