2020年1月19日
scrapy中使用代理IP爬取数据时遇到IP失效时自动切换的方法
摘要： 当使用临时的IP请求数据时，由于这些IP的过期时间极短，通常在1分钟~5分钟左右，这时scrapy就会报发以下错误 2020 01 17 17:00:48 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying 阅读全文
posted @ 2020-01-19 10:55 james_cai 阅读(3575) 评论(0) 推荐(0) 编辑