2019年7月2日
scrapy——解决302重定向
摘要： 在爬虫多次请求时，有些网站会出现反爬虫措施：将请求链接重定向到一个提示404的链接或者验证码链接等阻止爬虫的进行，如下为解决方案： 此外： 根据 HTTP标准 ，返回值为200-300之间的值为成功的resonse。 如果想处理在这个范围之外的response，可以通过 spider的 handle 阅读全文
posted @ 2019-07-02 14:27 lanston 阅读(8067) 评论(2) 推荐(1) 编辑