(十七) 基于scrapy-redis两种形式的分布式爬虫

redis分布式部署

一.scrapy框架是否可以自己实现分布式？

不可以, 原因有二:

　　其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器）

　　其二：原生scrapy的管道无法被共享，所以多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法共享同一个管道）

二.基于scrapy-redis组件的分布式爬虫

概念: 使用多台机器组成一个分布式的机群，在机群中运行同一组程序，进行联合数据的爬取

scrapy-redis组件中为我们封装好了可以被多台机器共享的调度器和管道，我们可以直接使用并实现分布式数据爬取。

实现方式：

       1.基于该组件的RedisSpider类

       2.基于该组件的RedisCrawlSpider类

三.分布式实现流程：上述两种不同方式的分布式实现流程是统一的

1 下载scrapy-redis组件：pip install scrapy-redis

2 redis配置文件的配置：

　　注释该行：bind 127.0.0.1，表示可以让其他ip访问redis

　　将yes该为no：protected-mode no，表示可以让其他ip操作redis

3 修改爬虫文件中的相关代码：

　　将爬虫类的父类修改成基于RedisSpider或者RedisCrawlSpider。注意：如果原始爬虫文件是基于Spider的，则应该将父类修改成RedisSpider，如果原始爬虫文件是基于CrawlSpider的，则应该将其父类修改成RedisCrawlSpider。

　　注释或者删除start_urls列表，切加入redis_key属性，属性值为scrpy-redis组件中调度器队列的名称

4 在配置文件中进行相关配置，开启使用scrapy-redis组件中封装好的管道

ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 400
}

5 在配置文件中进行相关配置，开启使用scrapy-redis组件中封装好的调度器

# 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 使用scrapy-redis组件自己的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
SCHEDULER_PERSIST = True

6 在配置文件中进行爬虫程序链接redis的配置：

REDIS_HOST = 'redis服务的ip地址'
REDIS_PORT = 6379
REDIS_ENCODING = ‘utf-8’
REDIS_PARAMS = {‘password’:’123456’}

7 开启redis服务器：redis-server 配置文件

8 开启redis客户端：redis-cli

9 运行爬虫文件：scrapy runspider SpiderFile

10 向调度器队列中扔入一个起始url（在redis客户端中操作）：lpush redis_key属性值 起始url

案例: 使用分布式爬取阳光热线问政平台

爬虫文件:

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy_redis.spiders import RedisCrawlSpider
from fbspro.items import FbsproItem


class FbsSpider(RedisCrawlSpider):
    name = 'fbs'
    # allowed_domains = ['www.xxx.com']
    # start_urls = ['http://www.xxx.com/']

    # 调度器队列的名称
    redis_key = 'dongguan'

    rules = (
        Rule(LinkExtractor(allow=r'type=4&page=\d+'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        a_list = response.xpath('//a[@class="news14"]')
        for a in a_list:
            item = FbsproItem()
            item['title'] = a.xpath('./text()').extract_first()

            yield item

items文件

# -*- coding: utf-8 -*-

import scrapy


class FbsproItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()

settings文件

# -*- coding: utf-8 -*-

BOT_NAME = 'fbspro'

SPIDER_MODULES = ['fbspro.spiders']
NEWSPIDER_MODULE = 'fbspro.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False


ITEM_PIPELINES = {
   'scrapy_redis.pipelines.RedisPipeline': 400,
}
# 使用scrapy-redis组件的去重队列
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 使用scrapy-redis组件自己的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 是否允许暂停
SCHEDULER_PERSIST = True

REDIS_HOST = '10.0.0.5'
REDIS_PORT = 6379

 

 

分布式案例：http://wz.sun0769.com/index.php/question/questionType?type=4&page= 

电影：http://www.4567tv.tv/frim/index1.html

5173手游交易网: http://sy.5173.com/BizOffer/GoodsList?gameId=76bae5aefec047e89bcb6aa4e417f138

http://db.pharmcube.com/database/cfda/detail/cfda_cn_instrument/130000

https://beijing.8684.cn/