scrapy_redis
首先redis是一种数据库类型,其有字符串、列表、集合、哈希等数据类型,满足scrapy engine调度以及去重的功能。
redis数据库基本操作:
启动客户端:redis-cli
list添加一个元素:LPUSH key vaule
查看长度:llen name
查看所有数据:keys *
查看数据类型:type key
清空数据: flushall
要使用公用调度器,需要导入scrapy_redis
在爬虫文件中定义一下内容:
from scrapy import Request from scrapy_redis.spiders import RedisSpider class CnblogSpider(RedisSpider): name = "cnblog" # allowed_domains = ["taoche.com"] # 注释起来,不做域名限制 # start_urls = ["https://taoche.com/"] # 起始的url应该去redis(公用调度器)里面获取 redis_key = 'taoche' # 回去redis里面获取key为taoche的数据taoche:[]
settings.py文件中进行一下配置