2019年2月3日
Scrapy改成Scrapy-Redis
摘要： 1. 增加去重容器类配置,DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter” 2. 增加调度配置,SCHEDULER = “scrapy_redis.scheduler.Scheduler” 3. 配置调度器持久化, 爬虫结束, 要不 阅读全文
posted @ 2019-02-03 11:59 liubosong 阅读(578) 评论(0) 推荐(0) 编辑