会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
kindvampire
博客园
::
首页
::
新随笔
::
联系
::
订阅
::
管理
公告
2020年7月13日
关于新浪微博数据抓取问题记录
摘要: 1、如何在下载器中间件的process_request中强制修改request的url request._set_url(url) 2.设置代理ip的方式 目前用的比较管用的是: request.meta['http_proxy'] = random.choice(self.proxy_list)
阅读全文
posted @ 2020-07-13 14:16 kindvampire
阅读(625)
评论(0)
推荐(0)
编辑