2019年5月6日
Python scrapy爬虫框架 常用setting配置
摘要： Python scrapy爬虫框架 常用setting配置 十分想念顺店杂可。。。 降低log级别当进行通用爬取时，一般您所注意的仅仅是爬取的速率以及遇到的错误。 Scrapy使用 INFO log级别来报告这些信息。为了减少CPU使用率(及记录log存储的... 阅读全文
posted @ 2019-05-06 11:40 甄超锋 阅读(2583) 评论(0) 推荐(1) 编辑