scrapy SCRAPER_SLOT_MAX_ACTIVE_SIZE

 

 

 

 

SCRAPER_SLOT_MAX_ACTIVE_SIZE

 

 

• SCRAPER_SLOT_MAX_ACTIVE_SIZE：正在处理响应数据的软限制（以字节为单位），如果所有正在处理的响应的大小总和高于此值，Scrapy不会处理新的请求。