10 2023 档案

如何让 Scrapy 不要缓存包含特定关键字的Response

摘要：当使用 Scrapy 进行网络爬取时，HTTP 缓存中间件是一个十分有用的工具，它可以根据HTTP状态来帮助我们保存和重用先前爬取的响应，例如缓存状态为2xx的响应。但有时，我们可能希望基于响应的实际内容来决定是否进行缓存。例如，如果Response正文中包含“请求频繁”、“error_code”这阅读全文

posted @ 2023-10-12 21:37 seozed 阅读(24) 评论(0) 推荐(0) 编辑

《将博客搬至CSDN》

摘要：《将博客搬至CSDN》阅读全文

posted @ 2023-10-10 14:37 seozed 阅读(4) 评论(0) 推荐(0) 编辑