2022年5月11日
爬虫--scrapy的下载中间件
摘要： scrapy的下载中间件的作用：批量拦截整个工程中发起的所有请求和响应 拦截请求： UA伪装： 代理ip： 拦截响应： 拦截异常 #批量拦截所有的请求和响应 class MiddlewearproDownloaderMiddleware(object): #UA池 user_agent_list = 阅读全文
posted @ 2022-05-11 01:34 QV 阅读(35) 评论(0) 推荐(0) 编辑