2019年7月7日
Python爬虫_分布式爬虫
摘要： 分布式爬虫 概念：使用多台机器组成一个分布式的机群，在机群中运行同一组程序，进行联合数据的爬取。 原生的scrapy是不可以实现分布式： 原生的scrapy中的调度器不可以被共享 原生的scrapy的管道不可以被共享 实现分布式就必须使用scrapy redis（模块） 可以给原生的scrapy提供 阅读全文
posted @ 2019-07-07 22:25 z1115230598 阅读(182) 评论(0) 推荐(0) 编辑