会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
腿毛怪
博客园
新随笔
管理
2020年11月23日
使用 scrapy-redis实现分布式爬虫
摘要: Scrapy 和 scrapy-redis的区别 Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。 pip install scrapy-redis Scrapy-redis提供
阅读全文
posted @ 2020-11-23 17:53 年少无为腿毛怪
阅读(445)
评论(1)
推荐(1)
编辑
公告