摘要: SCRAPER_SLOT_MAX_ACTIVE_SIZE SCRAPER_SLOT_MAX_ACTIVE_SIZE:正在处理响应数据的软限制(以字节为单位),如果所有正在处理的响应的大小总和高于此值,Scrapy不会处理新的请求。 阅读全文
posted @ 2022-11-10 09:59 AngDH 阅读(33) 评论(0) 推荐(0) 编辑