2020年8月7日
11 提升爬虫效率和反扒
摘要： 提升scrapy爬取数据的效率 增加并发： 默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。 降低日志级别： 在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使 阅读全文
posted @ 2020-08-07 08:48 江湖有梦 阅读(149) 评论(0) 推荐(0) 编辑