2023年10月12日
如何让 Scrapy 不要缓存包含特定关键字的Response
摘要： 当使用 Scrapy 进行网络爬取时，HTTP 缓存中间件是一个十分有用的工具，它可以根据HTTP状态来帮助我们保存和重用先前爬取的响应，例如缓存状态为2xx的响应。但有时，我们可能希望基于响应的实际内容来决定是否进行缓存。例如，如果Response正文中包含“请求频繁”、“error_code”这 阅读全文
posted @ 2023-10-12 21:37 seozed 阅读(21) 评论(0) 推荐(0) 编辑