2020年9月11日
scrapy-redis分布式爬虫
摘要： 一、概述 scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 有如下特征： 1. 分布式爬取 您可以启动多个spider工程，相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取 阅读全文
posted @ 2020-09-11 17:01 肖祥 阅读(2422) 评论(1) 推荐(0) 编辑