会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
God is a girl
博客园
首页
新随笔
联系
订阅
管理
2019年6月20日
爬虫-scrapy的中间件
摘要: scrapy的中间件 下载中间件 作用: 处于引擎和下载器之间,因此该中间件可以批量拦截整个工程中发起所有的请求和响应 拦截请求可进行的操作 进行代理IP request.meta['proxy'] = 'http://ip:port' 进行UA伪装 request.headers['User Ag
阅读全文
posted @ 2019-06-20 21:50 Yeokrin
阅读(186)
评论(0)
推荐(0)
编辑
公告