scrapy.Request请求地址返回400,但是用单独request模块请求同样的url返回正常

一 问题描述

用scrapy.Request()方法请求一个url地址,发现返回400错误,我检查了我不是被封ip,把请求链接直接copy到浏览器上,是可以正常显示结果的,单独用python的requests模块post请求同样的url地址,获得的是正常的返回

 

解决办法:

  注释掉headers里面的 Content-Length 这一栏 原因如下:

https://stackoverflow.com/questions/42248903/scrapy-post-request-not-working-400-bad-request

posted @ 2020-11-06 09:51  CeasonCing  阅读(480)  评论(0编辑  收藏  举报