2022年12月8日
爬虫学习-06+flask-01
摘要： 一、加代理 在爬虫中间件中 request 就是咱们在解析中yiedl的Request的对象 spider 就是爬虫对象 加代理 >配置文件配置 重点：如果中间件中出了异常，会调用中间件的process_exception 记录日志 把当前爬取的request对象，return出去，会被引擎重新放回 阅读全文
posted @ 2022-12-08 21:33 初学者-11 阅读(63) 评论(0) 推荐(0) 编辑