会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
疯疯癫癫的小可爱
2019年6月4日
Scrapy处理200-300范围之外的响应代码
摘要: HttpErrorMiddleware 过滤掉不成功(错误)的HTTP响应,以便蜘蛛不必处理它们,这些(大多数时候)会产生开销,消耗更多资源,并使蜘蛛逻辑更复杂。 根据HTTP标准,成功的响应是那些状态代码在200-300范围内的响应。 如果您仍希望处理该范围之外的响应代码,则可以使用handle_
阅读全文
posted @ 2019-06-04 14:37 小黑崽
阅读(573)
评论(0)
推荐(0)
编辑
导航
博客园
首页
新随笔
联系
订阅
管理
公告