摘要: # 启用Redis调度存储请求队列SCHEDULER = "scrapy_redis.scheduler.Scheduler"# 确保所有的爬虫通过Redis去重DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"# 不清除Redis队 阅读全文
posted @ 2018-05-18 15:00 猪啊美 阅读(858) 评论(0) 推荐(0) 编辑
摘要: http://www.microsoft.com/en-us/download/confirmation.aspx?id=48145 根据自己的版本安装这个即可 阅读全文
posted @ 2018-05-18 08:12 猪啊美 阅读(74) 评论(0) 推荐(0) 编辑