2019年10月28日
scrapy-redis搭建分布式爬虫
scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 有如下特征：  分布式爬取 您可以启动多个spider工程，相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。  分布式数据处理 爬取到的scrap Read More
posted @ 2019-10-28 09:15 李罡 Views(208) Comments(0) Diggs(0) Edit