摘要：
1. 2.打开redis服务 3.修改配置文件 4.在cmd窗口切换到redis目录下 如果 REDIS_START_URLS_AS_SET = False 命令为 redis-cli lpush 项目名:start_urls 启动链接 如果 REDIS_START_URLS_AS_SET = Tr 阅读全文
摘要：
#启用Redis调度存储请求队列 SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。PS：这玩意儿2.X的可以用。3.X的不... 阅读全文