2018年11月3日
分布式爬虫
摘要： 如何实现分布式爬虫 scrapy的url队列存在哪里？ （单机内存） redis是支持分布式的内存数据库 可以为scrapy做一个新的调度器(redis)，替换scapy的默认调度器, 从而实现分布式功能。 scrapy的url队列存在哪里？ （单机内存） redis是支持分布式的内存数据库 可以为 阅读全文
posted @ 2018-11-03 10:30 Sakura_L 阅读(429) 评论(0) 推荐(0) 编辑