scrapy输出请求状态码

class get_status(object):
    # def process_response(self,response,request,spider):
    def process_spider_input(self,response,spider):
        print(response.status,response.url)

  在中间件里面写,然后在设置里面的爬虫中间件(SPIDER_MIDDLEWARES)里面打开

posted @ 2019-06-22 17:18  乔儿  阅读(1736)  评论(0编辑  收藏  举报