scrapy架构图与执行流程
概览
本文描述了Scrapy的架构图、数据流动、以及个组件的相互作用
架构图与数据流
上图中各个数字与箭头代表数据的流动方向和流动顺序，具体执行流程如下：
0. Scrapy将会实例化一个Crawler对象，在Crawler中：
创建spider对象----_create_spider
创建engine对象----_create_engine
通过engine对象打开spider并生成第一个request---- yield self.engine.open_spider(self.spider, start_requests)
实例化调度器对象----Scheduler
启动引擎---- yield defer.maybeDeferred(self.engine.start)
1. 引擎从Spider获取初始请求
----_next_request
----_next_request_from_scheduler
2. 引擎把初始请求给调度器，并向调度器询问下一次请求
----scheduler.next_request
3. 调度器会对url进行指纹去重，如果是未爬取过的url，就把它放到队列中等待，并把下一个request返回给引擎
把url放入到队列中----enqueue_request
返回下一个request----next_request
4. 引擎把从调度器返回的request途径下载中间件交给下载器
----download
5. 一旦页面完成下载，下载器将会生成一个响应，途径下载中间件，再把它交给引擎
----download
6. 引擎接收到响应，并把它途径爬虫中间件，再交给spider
----_handle_downloader_output
7. spdier接收到响应，并对它进行解析，解析出Items或者新的Request，再把它们途径爬虫中间件，提交给引擎
----parse
8. 引擎把接收到的items提交给Item Pipeline，把接收到的Request提交给调度器
9. 从步骤1开始重复该过程，直到不在有request
各组件介绍
ENGINE
引擎（engine）控制所有部件间的数据流，并在某些事件发生时触发事件
Scheduler
调度器（scheduler）接收来自引擎的request，并对它去重，放入到请队列中；并根据队列的取出规则，把请求按顺序返回给引擎
Downloader
下载器（Downloader）获取网页数据并返回给引擎
Spiders
爬虫（Spiders）用来解析response，提取出Items和新的Requests
Item Pipeline
对Items进行进一步的清洗，并持久化
Downloader middlewares
下载中间件可以勾住下载器和引擎之间的数据流，并对它们做一些处理，比如：
- 在request送到下载器之前对它做一些处理，可以添加User_Agent，修改IP等
- 对response做一些处理
Spider middlewares
爬虫中间件可以勾住爬虫和引擎之间的数据流，并对它们做一些处理
