摘要：
settings里面的配置：'''当下面配置了这个（scrapy-redis）时候，下面的调度器已经配置在scrapy-redis里面了'''##########连接配置######## REDIS_HOST = '127.0.0.1' REDIS_PORT = 6379 # REDIS_PARAMS = {'password':'xxxx'} #Redis连接参数，默认：REDIS_P... 阅读全文
摘要：
不使用scrapy-redis的： 最初始的方法： settings里面： settings里面： 第一种去重方法：原生的scrapy-redis去重： settings里面： DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'##自 阅读全文