2019年6月4日
提高scrapy的爬取效率
摘要： 增加并发： 默认scrapy开启的线程数为32个，可以适当进行增加，在seeting配置文件中修改councurrent_requests=100 降低日志等级： 在运行scrapy运行时，会有大量日志输出，为了减少cpu的使用率，可将日志等级设置为log=error或log=info 禁用cook 阅读全文
posted @ 2019-06-04 12:17 青红*皂了个白 阅读(317) 评论(0) 推荐(0) 编辑