2018年8月15日
scrapy分布式
摘要： 开始之前我们得知道scrapy-redis的一些配置：PS 这些配置是写在Scrapy项目的settings.py中的！ #启用Redis调度存储请求队列SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重DUPEFILTE 阅读全文
posted @ 2018-08-15 16:47 力王7314 阅读(215) 评论(0) 推荐(0) 编辑