2019年10月11日
提高scrapy的抓取效率
摘要： 增加并发 默认scrapy开启的并发线程的个数是32个，可以适当的进行增加。在settings中进行设置CONCURRENT_REQUESTS=100 降低日志级别 在运行的时候，会有大量的日志信息的输出，为了减少CPU的使用率。可以设置log输出的信息是INFO或者是ERROR就可以了LOG_LEVEL=‘INFO’ 禁止cookie 如果不是真的需要cookie的话，可以在scrapy爬... 阅读全文
posted @ 2019-10-11 11:13 tulintao 阅读(325) 评论(0) 推荐(0) 编辑