爬虫学习10之scrapy_redis

scrapy_redis

首先redis是一种数据库类型，其有字符串、列表、集合、哈希等数据类型，满足scrapy engine调度以及去重的功能。

redis数据库基本操作：

启动客户端：redis-cli

list添加一个元素：LPUSH key vaule

查看长度：llen name

查看所有数据：keys *

查看数据类型：type key

清空数据： flushall

 

要使用公用调度器，需要导入scrapy_redis

在爬虫文件中定义一下内容：

from scrapy import Request
from scrapy_redis.spiders import RedisSpider


class CnblogSpider(RedisSpider):
    name = "cnblog"
    # allowed_domains = ["taoche.com"]  # 注释起来，不做域名限制
    # start_urls = ["https://taoche.com/"] # 起始的url应该去redis（公用调度器）里面获取
    redis_key = 'taoche'  # 回去redis里面获取key为taoche的数据taoche:[] 

settings.py文件中进行一下配置