会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
柯基小短腿
博客园
首页
新随笔
联系
订阅
管理
2019年11月18日
scrapy框架,递归获取详情页面时,提示: Filtered offsite request to
摘要: 在抓取 腾讯招聘网站的招聘信息时,递归获取详情页面时,提示: Filtered offsite request to 原因: 是request的地址和allow_domain里面发生了冲突,从而被过滤掉了 解决办法: 1.可以停用过滤功能 SPIDER_MIDDLEWARES = { 'tencen
阅读全文
posted @ 2019-11-18 21:10 柯基小短腿
阅读(462)
评论(0)
推荐(0)
编辑
公告