Scrapy框架学习（三）Spider、Downloader Middleware、Spider Middleware、Item Pipeline的用法
Spider有以下属性：
| name | 爬虫名称，定义Spider名字的字符串，必须是唯一的。常见的命名方法是以爬取网站的域名来命名，比如爬取baidu.com，那就将Spider的名字命名为baidu |
| allowed_domains | 允许爬取的域名，是可选配置，不在此范围的链接不会被跟进爬取。 |
| start_urls |
起始URL列表。如果没有实现start_requests()方法，默认会从这个列表开始爬取。 |
| custom_settings | 这是一个字典，是专属于Spider的配置。它会覆盖项目全局的设置。此设置必须在初始化前被更新，必须定义成类变量。 |
| crawler | 由from_crawler()方法设置的，代表的是本Spider类对应的Crawler对象。Crawler包含了很多项目组件，如Settings，利用它可以获取项目的一些配置信息。 |
| settings | 它是一个Settings对象，利用它我们可以直接获取项目的全局设置变量。 |
| start_requests() | 此方法用于生成初始请求，它必须返回一个可迭代对象。此方法会默认使用start_urls里面的URL来构造Request，而且Request是Get请求方式，如果我们想在启动时以POST方式访问某个站点，可以直接重写这个方法，发送POST请求使用FormRequest即可。 |
| parse() | 当Response没有指定回调函数时，该方法默认会被调用。它负责处理Response，处理返回结果，并从中提取出想要的数据和下一步的请求。然后返回。该方法需要返回一个包含Request或Item的可迭代对象。 |
| closed() | 当Spider关闭时，该方法会被调用，在这里一般会定义释放资源的一些操作或其他收尾操作。 |
Downloader Middleware即下载中间件，它是处于Scrapy的Request和Response之间的处理模块。Downloader的作用有两个：1.在Scheduler发送Request给Downloader之前修改Request。2。在Response发送给Spider之前对其进行修改。
Scrapy已经内置了许多Downloader Middleware，如果想要添加自己定义的Downloader Middleware，需要在Settings.py中将DOWNLOADER_MIDDLEWARES部分取消注释，修改为自己想要添加的Downloader Middleware，冒号后的数字即优先级，数字越小优先级越高。
Downloader Middleware有三个核心方法：
- process_request(request,spider)
- process_response(request,response,spider)
- process_exception(request,exception,spider)
至少需要实现其中的一个方法才可以定义自己的Downloader Middleware。接下来介绍这三个方法：
Request被Engine发送给Downloader之前，process_request()方法会被调用，返回值为None，Response对象、Request对象之一，或者抛出IgnoreRequest异常。
| 返回None | 调用优先级更低的Downloader Middleware的process_request()方法进行处理 |
| 返回Response | 依次调用所有的Downloader Middleware的process_response()方法进行处理 |
| 返回Request | 返回值进入Scheduler调度队列直到下一次被调度 |
| 抛出异常 | 依次调用所有的Downloader Middleware的process_exception()方法进行处理 |
Downloader 在执行下载之后，会得到对应的Response，Engine会把Response发送给Spider进行解析之前，process_response()方法会被调用，返回值为Request对象、Response对象之一，或者抛出IgnoreRequest异常。
| 返回Request | 返回值进入Scheduler调度队列直到下一次被调度 |
| 返回Response | 调用优先级更低的Downloader Middleware的process_response()方法进行处理 |
| 抛出异常 | Request的errorback()方法回调，若该异常仍未被处理，那么它会被忽略。 |
当Downloader或process_request()方法抛出异常时，process_exception()方法会被调用，返回值为None，Response对象、Request对象之一。
| 返回None | 调用优先级更低的Downloader Middleware的process_exception()方法进行处理 |
| 返回Response | 依次调用所有的Downloader Middleware的process_response()方法进行处理 |
| 返回Request | 返回值进入Scheduler调度队列直到下一次被调度 |
Spider Middleware是介入到Scrapy的Spider处理机制的钩子框架。Spider Middleware有以下3个作用：1.在Downloader发送Response给Spider之前对其进行处理。2.在Spider发送Request给Scheduler之前对其进行处理。3.在Spider发送Item给Item Pipeline之前对其进行处理。
跟Downloader Middleware一样，Scrapy已经内置了许多Spider Middleware，如果想要添加自己定义的Spider Middleware，需要在Settings.py中将SPIDER_MIDDLEWARES部分取消注释，修改为自己想要添加的Spider Middleware。
Spider Middleware有以下4个核心方法：
- process_spider_input(response,spider)
- process_spider_ouput(response,result,spider)
- process_spider_exception(response,exception,spider)
- process_start_requests(start_requests,spider)
至少需要实现其中的一个方法才可以定义自己的Spider Middleware。接下来介绍这四个方法：
当Downloader发送Response给Spider解析时，process_spider_input()方法被调用，返回值为None或者抛出一个异常。
| 返回None | 调用优先级更低的Spider Middleware的process_spider_input()方法进行处理 |
| 抛出异常 | 调用Request的errback()方法，errback()的输出将会重新输入到中间件中，使用process_spider_output()方法来处理，若抛出异常则调用process_spider_exception()处理 |
当Spider发送Item给Item Pipeline时，process_spider_ouput()方法被调用，返回值为Request或Item对象的可迭代对象。
当Spider或process_spider_input()方法抛出异常时，process_spider_exception()方法被调用，返回值为None或包含Response或Item对象的可迭代对象。
| 返回None | 调用优先级更低的Spider Middleware的process_spider_exception()方法进行处理 |
| 返回一个可迭代对象 | 依次调用所有的Spider Middleware的process_spider_ouput()方法进行处理 |
process_start_requesrs()方法以Spider启动的Request为参数被调用，返回一个包含Request对象的可迭代对象。
当Spider解析完Response后，会new一个Item对象发送到Item Pipeline。Item Pipeline的作用有：
- 清理HTML数据
- 验证爬取数据，检查爬取字段
- 查重并丢弃重复内容
- 将爬取结果保存到数据库
若要自定义Item Pipeline ，必须实现Item Pipeline的process_item(item,spider)方法。下面介绍Item Pipeline的常用方法：
process_item(item,spider)
process_item(item,spider)是必须实现的方法，Item Pipeline默认调用该方法对Item进行处理，返回值为Item对象或者抛出DropItem异常。
| 返回Item | 调用优先级更低的Item Pipeline的process_item(item,spider)方法进行处理 |
| 抛出异常 | 丢弃该Item，不进行处理 |
open_spider(self,spider)
open_spider(self,spider)在Spider开启时自动调用，可以在这里进行一些初始化操作。
close_spider(spider)
close_spider(spider)Spider关闭时自动调用，可以在这里进行收尾操作。
from_crawler(cls,crawler)
from_crawler(cls,crawler)是一个类方法，用@classmethod进行标识，它的参数是crawler，通过它可以拿到Scrapy的所有核心组件，然后创建一个Pipeline实例。参数cls就是Class，最后返回一个Class类型。
