1.在scrapy.Request方法里边加上参数dont_filter=True(去重)
2.增加是不是allowed_domains范围内的url
3.yield Request 改为yield scrapy.http.Request
4.在scrapy.Request方法里边添加errback=self.errback,然后在外边写 errback方法,获取错误信息,针对错误信息查找资料
yield scrapy.Request(url=hear,callback=self.parse_x,meta={"item":deepcopy(item)},errback=self.errback)
def errback(self,failure):
self.logger.error(repr(failure))
标签:
Python知识
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 使用C#创建一个MCP客户端
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现