会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
xunhanliu
博客园
首页
新随笔
联系
订阅
管理
2020年7月8日
返回码418,scrapy 重新请求
摘要: 问题情景: scrapy爬取网页,返回值418(按照请求来说,是一个完整的网络请求)。说明此接口已经被后台爬虫检测程序检测到了。 通过研读scrapy文档,在自定义的418检测下载中间件里面,process_response中检测返回值,并设置request的http/https代理,然后retur
阅读全文
posted @ 2020-07-08 18:42 xunhanliu
阅读(996)
评论(0)
推荐(0)
编辑
公告