2018年7月12日
爬虫之分布式爬虫和增量爬虫
摘要： 一.基于scrapy-redis两种形式的分布式爬虫 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取 阅读全文
posted @ 2018-07-12 16:08 古月蜀黍 阅读(173) 评论(0) 推荐(0) 编辑