摘要: 一、加代理 在爬虫中间件中 request 就是咱们在解析中yiedl的Request的对象 spider 就是爬虫对象 加代理 >配置文件配置 重点:如果中间件中出了异常,会调用中间件的process_exception 记录日志 把当前爬取的request对象,return出去,会被引擎重新放回 阅读全文
posted @ 2022-12-08 21:33 初学者-11 阅读(67) 评论(0) 推荐(0) 编辑