使用scrapy-redis搭建分布式爬虫环境
摘要：
详细内容见原文：https://www.cnblogs.com/pythoner6833/p/9148937.html 在settings文件中需要添加5项: 1.DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 2.SCHEDUL 阅读全文
posted @ 2019-11-06 02:15 糖糖大大 阅读(131) 评论(0) 推荐(0) 编辑
