2019年10月10日
Scrapy下载中间件的优先级（神踏马值越小优先级越高）
摘要： 自从之前看的一篇讲Scrapy下载中间件的文章后，一直认为设置里下载中间件的优先级数值越小，越优先，最近要抓的网站反爬增强了，所以需要使用代理ip，但是由于使用的是免费代理以至于经常失效，需要对失效的代理进行删除并设置新的代理重新发出请求，但是我编写的中间件怎么也不会被执行，由此天降大坑，废话说了这 阅读全文
posted @ 2019-10-10 11:47 西瓜你个兔子 阅读(1128) 评论(0) 推荐(0) 编辑