scrapy_redis分布式爬虫

一、原生态的scrapy不支持分布式，因为调度器和管道无法共享。