2022年11月10日
scrapy SCRAPER_SLOT_MAX_ACTIVE_SIZE
摘要： SCRAPER_SLOT_MAX_ACTIVE_SIZE SCRAPER_SLOT_MAX_ACTIVE_SIZE：正在处理响应数据的软限制（以字节为单位），如果所有正在处理的响应的大小总和高于此值，Scrapy不会处理新的请求。 阅读全文
posted @ 2022-11-10 09:59 AngDH 阅读(28) 评论(0) 推荐(0) 编辑