2019年5月16日
scrapy采集数据目标网站返回 301问题的解决
摘要： 今天，在采集数据的时候，目标网站一直返回301，百思不得其解，在网上也找了好多的解决办法，大多不靠谱，经过分析后，问题终于解决了， 目标网站返回301的原因肯定是，爬虫伪装的不够好，被服务器识别出是爬虫，所以直接返回了301后者是404,403等状态码。 解决办法是：通过f12分析，得到浏览器访问网 阅读全文
posted @ 2019-05-16 16:44 小东2008 阅读(1330) 评论(0) 推荐(0) 编辑