scrapy框架简介和基础应用

一、Scrapy介绍

1、Scrapy是什么

  Scrapy 是一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

2、何谓框架

  所谓框架其实就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的用法即可。
  scrapy和requests、bs4的关系,可以做如下类比:

requests + bs4 => socket
scrapy框架 => django

  Scrapy 是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞(又名异步)的代码来实现并发(基于Twisted实现单线程并发下载页面)。也具备解析下载内容功能、帮助实现“递归”、帮助完成数据持久化(数据写入硬盘或数据库)、还具备一些扩展性功能(自定义组件)。

二、Scrapy核心组件

1、五大组件介绍

  • 引擎(Scrapy)
    用来处理整个系统的数据流处理, 触发事务(框架核心)
  • 管道(Pipeline)
    负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。
  • 调度器(Scheduler)
    用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
  • 下载器(Downloader)
    用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
  • 爬虫文件(Spiders)
    爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

2、五大核心组件工作流程

五大核心组件

  引擎首先会将爬虫文件中的起始url获取,并提交到调度器中。如果需要从url中下载数据,则调度器会将url通过引擎提交给下载器,下载器根据url去下载指定内容(响应器)。下载好的数据会通过引擎移交给爬虫文件,爬虫文件可以将下载的数据进行指定格式的解析。如果解析出的数据需要进行持久化存储,则爬虫文件会将解析好的数据通过引擎移交给管道进行持久化存储。

三、Scrapy安装

1、Windows平台

1、安装wheel
    pip3 install wheel   # 安装后,便支持通过wheel文件安装软件,wheel文件官网:https://www.lfd.uci.edu/~gohlke/pythonlibs
2、下载twisted(Scrapy基于twisted框架):
    http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    安装twisted:
    进入下载目录,执行: 
    pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
3、下载并安装pywin32:    
    pip3 install pywin32
4、安装scrapy
    pip3 install scrapy

2、Linux平台

    pip3 install scrapy

四、Scrapy基础使用

1、使用流程

(1)创建一个工程

  切换到项目目录后,执行创建项目的命令,爬虫项目即创建成功。

$ scrapy startproject firstPro(工程名称)
  • 目录结构
      用pycharm打开创建的工程,可以看到如下目录结构。
project_name/
|--scrapy.cfg                # 项目的主配置信息。(真正爬虫相关的配置信息在settings.py文件中)
|--project_name/
    |--__init__.py
    |--items.py               # 设置数据存储模板,用于结构化数据,如Django的Model
    |--pipelines.py           # 数据持久化处理
    |--settings.py            # 配置文件(一般修改这里),如:递归的层数、并发数,延迟下载等
    |--spiders/               # 爬虫目录,如:创建文件,编写爬虫解析规则
         |--__init__.py

(2)创建爬虫应用程序

$ pwd
/Users/hqs/ScrapyProjects/firstBlood
$ scrapy genspider qiubai www.qiushibaike.com
Created spider 'qiubai' using template 'basic' in module:
  firstBlood.spiders.qiubai

  执行成功后,就可以在项目的spiders目录下找到新生成的爬虫文件了。

  1)创建爬虫程序语法

scrapy genspider 应用名称 爬取网页的起始url

  2)创建的爬虫文件内容模板

# -*- coding: utf-8 -*-
import scrapy

class QiubaiSpider(scrapy.Spider):  # Spider是所有爬虫的父类
    name = 'qiubai'   # 爬虫文件的名称:通过爬虫文件的名称可以指定定位到某一个具体的爬虫文件
    allowed_domains = ['www.qiushibaike.com']   # 允许的域名:只爬取指定域名下的页面数据
    start_urls = ['http://www.qiushibaike.com/']   # 起始url:当前工程将要爬取页面对应的url

    def parse(self, response):
        """
        解析方法:对获取的页面数据进行指定内容解析
        :param response: 根据起始url列表发起请求,请求成功返回的响应对象
        :return:
        """
        pass

(3)编写爬虫文件

# -*- coding: utf-8 -*-
import scrapy


class QiubaiSpider(scrapy.Spider):  # Spider是所有爬虫的父类
    name = 'qiubai'   # 爬虫文件的名称:通过爬虫文件的名称可以指定定位到某一个具体的爬虫文件
    allowed_domains = ['www.qiushibaike.com']   # 允许的域名:只爬取指定域名下的页面数据
    start_urls = ['http://www.qiushibaike.com/']   # 起始url:当前工程将要爬取页面对应的url

    def parse(self, response):
        """
        解析方法:对获取的页面数据进行指定内容解析
        :param response: 根据起始url列表发起请求,请求成功返回的响应对象
        :return:
        """
        print(response.text)  # 获取字符串类型的响应内容
        # print(response.body)  # 获取字节类型的相应内容

        # 注意:parse方法的返回值必须是迭代器或空
        # 未指定返回值时,返回值默认为空

(4)修改settings.py配置文件

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' # 伪装请求载体身份

# Obey robots.txt rules
ROBOTSTXT_OBEY = False   # 不遵从门户网站robots协议,避免某些信息爬取不到

注意:
  (1)取消USER_AGENT注释,这里给它添加火狐浏览器身份标识,以伪装请求载体身份
  (2)将ROBOTSTXT_BOE修改为False,即不遵守门户网站的robots协议,避免某些信息爬取不到。(这个可视情况决定是否遵守)

(5)执行爬虫程序:

# scrapy crawl  应用名称 --nolog(阻止日志信息输出)
$ scrapy crawl qiubai

  添加 '--nolog' 参数可以阻止日志信息的输出,只输出爬取的页面数据。

2、指定页面数据解析操作示例

  需求:糗百中段子的内容和作者。
  依然使用之前创建的项目,因此省略流程第一步的工程创建操作。

(1)创建爬虫文件(第二步)

$ pwd
/Users/hqs/ScrapyProjects/firstBlood
$ scrapy genspider qiubaipro www.qiushibaike.com/text
Created spider 'qiubaipro' using template 'basic' in module:
  firstBlood.spiders.qiubaipro

(2)xpath指定内容解析

  Scrapy已经集成好了xpath解析的接口,因此推荐使用xpath进行指定内容的解析。
  Control-Shift-X开启xpath插件。

xpath解析

(3)编写代码(第三步)

import scrapy

class QiubaiproSpider(scrapy.Spider):
    name = 'qiubaipro'
    # allowed_domains = ['www.qiushibaike.com/text']  # 图片等信息可能不属于指定域名之下
    start_urls = ['https://www.qiushibaike.com/text/']  # 注意修改默认协议头

    def parse(self, response):
        # 建议使用xpath来执行指定内容的解析(Scrapy已经集成好了xpath解析的接口)
        # 段子的内容和作者
        div_list = response.xpath('//div[@id="content-left"]/div')
        for div in div_list:
            # 通过xpath解析到的指定内容被存储到了selector对象中
            # 需要通过extract()方法来提取selector对象中存储的数据值
            # 方法一:
            # author = div.xpath('./div/a[2]/h2/text()').extract()[0]  # './'表示解析当前局部div; a[2]表示第二个a标签
            # 方法二:extract_first()等同于extract()[0]
            author = div.xpath('./div/a[2]/h2/text()').extract_first()
            content = div.xpath('.//div[@class="content"]/span/text()').extract_first()  # './/'表示当前局部所有元素;@class匹配类属性

            print(author)

注意:
  1)第四步的修改配置文件也省略,配置方法见前面一节。
  2)xpath解析的指定内容被存储到了selector对象中。
  3)可以通过extract()方法来提取selector对象中存储的数据值。
  4)selector对象和extract方法

使用extract()方法前:
[<Selector xpath='./div/a[2]/h2/text()' data='\n南九\n'>]
[<Selector xpath='./div/a[2]/h2/text()' data='\n无书斋主\n'>]
[<Selector xpath='./div/a[2]/h2/text()' data='\n请闭上眼睛里\n'>]

使用extract()方法后:
['\n好吃的焦糖饼干~\n']
['\n艾玛*^o^*ZW…\n']
['\n嘻嘻嘻,一\n']

  5)extract_first()等同于extract()[0]

(4)执行代码(第五步)

# scrapy crawl 爬虫名称 :该种执行形式会显示执行的日志信息
# scrapy crawl 爬虫名称 --nolog:该种执行形式不会显示执行的日志信息
$ scrapy crawl qiubaipro --nolog

五、更多文档参考

Scrapy 0.25 文档
wupeiqi的Scrapy
爬虫框架:scrapy

posted @ 2018-11-28 23:51  休耕  阅读(1143)  评论(0编辑  收藏  举报