scrapy中主动触发关闭爬虫的方法

在spider中 主动关闭爬虫:

self.crawler.engine.close_spider(self, 'cookie失效关闭爬虫')

在pipeline 和downloadermiddlewares 主动关闭爬虫:

spider.crawler.engine.close_spider(spider, ‘全文结束关闭爬虫’)

 

posted @ 2020-05-09 09:20  BruceLong  阅读(718)  评论(0编辑  收藏  举报