2017年5月11日
第9章 scrapy-redis分布式爬虫
摘要： 9-1 分布式爬虫要点 1.分布式的优点 充分利用多机器的宽带加速爬取 充分利用多机的IP加速爬取速度 问：为什么scrapy不支持分布式？ 答：在scrapy中scheduler是运行在队列的，而队列是在单机内存中的，服务器上爬虫是无法利用内存的队列做任何处理，所以scrapy不支持分布式。 2. 阅读全文
posted @ 2017-05-11 21:52 今孝 阅读(11137) 评论(0) 推荐(0) 编辑
//制作目录