2020年11月23日
使用 scrapy-redis实现分布式爬虫
摘要： Scrapy 和 scrapy-redis的区别 Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 pip install scrapy-redis Scrapy-redis提供 阅读全文
posted @ 2020-11-23 17:53 年少无为腿毛怪 阅读(443) 评论(1) 推荐(1) 编辑