摘要: scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件,用于scrapy项目的分布式开发和部署。 有如下特征:  分布式爬取 您可以启动多个spider工程,相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。  分布 阅读全文
posted @ 2019-08-26 23:18 vekair 阅读(222) 评论(0) 推荐(0) 编辑