关于scrapy中scrapy.Request中的属性
一.源码
复制 def __init__(self, url, callback=None, method='GET', headers=None, body=None,
cookies=None, meta=None, encoding='utf-8', priority=0,
dont_filter=False, errback=None, flags=None):
一.url(必须)
填写的参数
:请求的地址
数据类型
:str
二.callback
填写的参数
:响应返回的回调函数(必须是类当中或者父类当中的方法),默认为parse
方法
数据类型
:str
三.method
填写的参数
:请求的方式
数据类型
:str
四.headers
填写的参数
:请求头
数据类型
:dict
五.meta
填写的参数
:我是这样理解的理解成传输时候一个类似容器的东西
数据类型
:dict
取
response.meta['key']可以获得设置的value
六.dont_filter
填写的参数
:表明该请求不由调度器过滤。这是当你想使用多次执行相同的请求,忽略重复的过滤器。默认为False.
数据类型
:bool
七.encoding
填写的参数
:编码格式
数据类型
:str
八.errback
填写的参数
:响应返回的错误的回调函数(必须是类当中或者父类当中的方法)默认返回'dealerr'方法
数据类型
:dict
九.body补充点post参数提交
方法一.
复制scrapy.FormRequest(url=url,formdata=formdata)
#这里的formdata是dict格式的,里面不能存在数字,如果有数字用引号括起来;
方法二.
复制scrapy.Request(url=url,method="POST",body=formdata)
#这里的formdata必须得是字符串,如果是表单格式,那么需要用json.dumps()转为字符串格式;
十.priority和flags(我没怎么用资料都是网上的)
priority是优先级,(默认为0,越大优先级越大),实际应用中我没用过.
flags网上说指针,我没怎么用,也没深究,如果有知道的人欢迎补充
分类:
爬虫
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· winform 绘制太阳,地球,月球 运作规律
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理