scrapy-redis(一)

安装scrapy-redis

pip install scrapy-redis

从GitHub 上拷贝源码:

clone github scrapy-redis源码文件     git clone https://github.com/rolando/scrapy-redis.git

 

scrapy-redis的工作流程

 

Scrapy_redis之domz  例子分析

1.domz爬虫:

 2.配置中:

 

 3.执行domz的爬虫,会发现redis中多了一下三个键

redispipeline中仅仅实现了item数据存储到redis的过程,我们可以新建一个pipeline(或者修改默认的ExamplePipeline),可以让数据存储到任意地方。

 scrapy-redis 的源码分析

1.Scrapy_redis之RedisPipeline

 

2.Scrapy_redis之RFPDupeFilter

 

 3.Scrapy_redis之Scheduler

 

 

domz相比于之前的spider多了持久化request去重的功能,setting中的配置都是可以自己设定的,

意味着我们的可以重写去重和调度器的方法,包括是否要把数据存储到redis(pipeline)

 

1.Scrapy_redis之RedisSpider

 

2. Scrapy_redis之RedisCrawlSpider

 

scrapy-redis 配置:

在爬虫项目的settings.py文件中,可以做一下配置

# ####################### redis配置文件 #######################
REDIS_HOST = '192.168.11.81'                            # 主机名
REDIS_PORT = 6379                                   # 端口
# REDIS_URL = 'redis://user:pass@hostname:9001'       # 连接URL(优先于以上配置)
# REDIS_PARAMS  = {}                                  # Redis连接参数             默认:REDIS_PARAMS = {'socket_timeout': 30,'socket_connect_timeout': 30,'retry_on_timeout': True,'encoding': REDIS_ENCODING,})
# REDIS_PARAMS['redis_cls'] = 'myproject.RedisClient' # 指定连接Redis的Python模块  默认:redis.StrictRedis
REDIS_ENCODING = "utf-8"                            # redis编码类型             默认:'utf-8'

# df
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"   # 也可以自定义自己的去重规则

from scrapy_redis.scheduler import Scheduler
SCHEDULER = "scrapy_redis.scheduler.Scheduler"   #  调度器    

from scrapy_redis.queue import PriorityQueue
from scrapy_redis import picklecompat
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'  # 默认使用优先级队列(默认),其他:PriorityQueue(有序集合),FifoQueue(列表)、LifoQueue(列表)
SCHEDULER_QUEUE_KEY = '%(spider)s:requests'  # 调度器中请求存放在redis中的key
SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"  # 对保存到redis中的数据进行序列化,默认使用pickle
SCHEDULER_PERSIST = True  # 是否在关闭时候保留原来的调度器和去重记录,True=保留,False=清空
SCHEDULER_FLUSH_ON_START = False  # 是否在开始之前清空 调度器和去重记录,True=清空,False=不清空
SCHEDULER_IDLE_BEFORE_CLOSE = 10  # 去调度器中获取数据时,如果为空,最多等待时间(最后没数据,未获取到)。
SCHEDULER_DUPEFILTER_KEY = '%(spider)s:dupefilter'  # 去重规则,在redis中保存时对应的key
SCHEDULER_DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'  # 去重规则对应处理的类


from scrapy_redis.pipelines import RedisPipeline

ITEM_PIPELINES = {
   'scrapy_redis.pipelines.RedisPipeline': 300,
}
REDIS_ITEMS_KEY = '%(spider)s:items'
REDIS_ITEMS_SERIALIZER = 'json.dumps'

 

 

Crontab爬虫定时执行

 

 

 

 Scrapy-redis 中的知识总结

request对象什么时候入队

  • dont_filter = True ,构造请求的时候,把dont_filter置为True,该url会被反复抓取(url地址对应的内容会更新的情况)

  • 一个全新的url地址被抓到的时候,构造request请求

  • url地址在start_urls中的时候,会入队,不管之前是否请求过

    • 构造start_url地址的请求时候,dont_filter = True

  def enqueue_request(self, request):
   if not request.dont_filter and self.df.request_seen(request):
       # dont_filter=False Ture True request指纹已经存在 #不会入队
       # dont_filter=False Ture False request指纹已经存在 全新的url #会入队
       # dont_filter=Ture False #会入队
       self.df.log(request, self.spider)
       return False
   self.queue.push(request) #入队
   return True

scrapy_redis去重方法

  • 使用sha1加密request得到指纹

  • 把指纹存在redis的集合中

  • 下一次新来一个request,同样的方式生成指纹,判断指纹是否存在reids的集合中

生成指纹

  fp = hashlib.sha1()
fp.update(to_bytes(request.method))  #请求方法
fp.update(to_bytes(canonicalize_url(request.url))) #url
fp.update(request.body or b'')  #请求体
return fp.hexdigest()

判断数据是否存在redis的集合中,不存在插入

added = self.server.sadd(self.key, fp)
return added != 0

 

posted @ 2019-04-14 22:37  冰底熊  阅读(1034)  评论(0编辑  收藏  举报