Top
2019年3月5日
Scrapy框架（3）
摘要： 一、如何提升scrapy框架的爬取效率 增加并发： 默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100，并发设置成了为100。 降低日志级别： 在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用 阅读全文
posted @ 2019-03-05 12:14 勇敢的巨蟹座 阅读(323) 评论(0) 推荐(0) 编辑