scrapy中出现[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to 如何解决

这期间，已经使用了 User-Agent，并且源连接直接在浏览器打开并不跳转，也使用requests测试，发现并没有被重定向。

搜索很久很久无果，然后无奈开始关注 [scrapy.downloadermiddlewares.redirect] DEBUG 这个东西难道是我开启了某个配置，检查完并没有配置与这个相关的，但是突然发现我竟然配置了一个 DEFAULT_REQUEST_HEADERS

这个是之前做百度搜索时配置的，里面指定了host，爬虫一加载就会使用这个header,结果这里指定的host跟源链接里面的不匹配，就发生了重定向。后面一注释就好了..