会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
奥辰
莫道君行早,更有早行人。
博客园
首页
新随笔
联系
订阅
管理
2019年5月15日
scrapy-redis源码解读之发送POST请求
摘要: scrapy-redis是对scrapy改进,在分布式爬虫开发上有卓越的表现,但由于scrapy-redis只从redis中读取起始url,导致发送POST困难,本文从源码出发,逐步探寻、解释scrapy-redis实例化request对象流程,并通过美团爬虫实例演示scrapy-redis框架发送POST请求方法。
阅读全文
posted @ 2019-05-15 07:32 奥辰
阅读(2767)
评论(0)
推荐(0)
编辑
公告