2021年8月30日
如何提升scrapy框架的爬取效率？
摘要： 可以采取以下措施： 增大并发请求数 默认scrapy开启的并发线程为16个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。 提升日志等级 在运行scrapy时，默认日志等级为DEBUG，会有大量日志信息的输出，为 阅读全文
posted @ 2021-08-30 16:27 eliwang 阅读(282) 评论(0) 推荐(0) 编辑