2019年5月9日
分布式爬虫
摘要： - 概念：使用多台机器组成一个分布式的机群，在机群中运行同一组程序，进行联合数据的爬取。 - 原生的scrapy是不可以实现分布式： - 原生的scrapy中的调度器不可以被共享 - 原生的scrapy的管道不可以被共享 - ... 阅读全文
posted @ 2019-05-09 17:52 一只程序猿呀 阅读(133) 评论(0) 推荐(0) 编辑