scrapy框架使用-爬虫中间件

####

 

###

这个爬虫中间件,的process_start_request方法,可以监控到有多少个爬虫启动,启动了多少个url,

因为所有的爬虫,都会通过这个中间件的,

我们可以在这个上面做文章,来监控这个爬虫的情况,

###

 

这两个是控制输入和输出的,

输出的信息,可以把每一个页面,的每一个记录的输出情况,都能拿到,这个就厉害了,

#####

所以整个的,pipeline的设计,爬虫中间件,下载器中间件的设计,让我们可以非常灵活的扩展自己的想要的功能,

#### 

 

 

 

####

posted @ 2021-09-12 01:09  技术改变命运Andy  阅读(52)  评论(0编辑  收藏  举报