# 使用scrapy_redis的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 使用scrapy_redis的去重机制 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 在ITEM_PIPELINES中添加redis管道 # 'scrapy_redis.pipelines.RedisPipeline': 200 # 定义redis主机地址和端口号 REDIS_HOST = 'localhost' REDIS_PORT = 6379 # 设置密码 ,指定db ,default 0 REDIS_PARAMS = { 'password': 'admin',
'db': 8
}
或者:
# 指定redis数据库的连接参数 # REDIS_PASS是我自己加上的redis连接密码(默认不做) REDIS_HOST = '127.0.0.1' REDIS_PORT = 6379 #REDIS_PASS = 'redisP@ssw0rd' # LOG等级 LOG_LEVEL = 'DEBUG'