scrapy框架使用-爬虫中间件

####

 

###

这个爬虫中间件，的process_start_request方法，可以监控到有多少个爬虫启动，启动了多少个url，

因为所有的爬虫，都会通过这个中间件的，

我们可以在这个上面做文章，来监控这个爬虫的情况，

###

 

这两个是控制输入和输出的，

输出的信息，可以把每一个页面，的每一个记录的输出情况，都能拿到，这个就厉害了，

#####

所以整个的，pipeline的设计，爬虫中间件，下载器中间件的设计，让我们可以非常灵活的扩展自己的想要的功能，

#### 

 

 

 

####