cookie设置的四种方案/方式
方案一:手动处理,从请求头里直接复制到headers中(会过期)
requests:
HEADERS = {
'Cookie': 'xxxxxx',
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36"}
scrapy请求时:(setting文件内设置cookies并开启)
COOKIES_ENABLED = False
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
'cookies':'xxxxx'
}
方案二:自动处理,使用session模块;自动维护的只能是响应头返回的cookie(set-cookie)
session = requests.session()
resp = session.post(url =url, data=data, headers=headers)
# 一般登录界面,先加载一个原始的cookie(登录页的url),再对验证码的url发请求
# 手动获取cookie的值
cookie_dic = response.cookies.get_dict()
方案三:selenium拿cookie
cookies = bro.get_cookies()
dic = {}
for cookie in cookies:
key = cookie['name']
value = cookie['value']
dic[key] = value
print(dic) #在爬虫中可以使用的cookie(headers中)
方案四:通过session手动设置cookie(终极处理方式);处理JS得到的cookie
session = requests.Session()
seesion.cookies.set('b_lsid',lsid)
# 或者update
session.cookies.update({'token':token,'mi':mi_code})
或将JS逆向中通过请求得到的键值对过程将request改成session请求,即将cookie写到session对象中。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?