2019年11月21日
Scrapy——更改配置提升性能
摘要： 1. 增加并发 并发是指同时处理的request的数量。其有全局限制和局部(每个网站)的限制。Scrapy默认的全局并发限制对同时爬取大量网站的情况并不适用，因此您需要增加这个值。 增加多少取决于您的爬虫能占用多少CPU。 一般开始可以设置为 100 。不过最好的方式是做一些测试，获得Scrapy进 阅读全文
posted @ 2019-11-21 00:44 lanston 阅读(1967) 评论(0) 推荐(0) 编辑