针对特定网站scrapy爬虫的性能优化
摘要：
在使用scrapy爬虫做性能优化时，一定要根据不同网站的特点来进行优化，不要使用一种固定的模式去爬取一个网站，这个是真理，以下是对58同城的爬取优化策略： 一、先来分析一下影响scrapy性能的settings设置（部分常用设置）：1，DOWNLOAD_TIMEOUT，下载超时，默认180S，若超时 阅读全文
posted @ 2019-04-19 18:20 Tarantino 阅读(2325) 评论(0) 推荐(1) 编辑
