2019年2月24日
Scrapy爬虫提高效率
摘要： 如何提高scrapy的爬取效率 增加并发： 默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。 降低日志级别： 在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使 阅读全文
posted @ 2019-02-24 15:20 st--st 阅读(973) 评论(0) 推荐(0) 编辑