2019年12月5日
爬虫遭遇521状态码
摘要： 起因：工作中爬取页面遭遇521状态码 scrapy中遭遇521状态码，会被无视，而不会被爬虫处理。 通过F12开发者工具 可知 通过在下载器中间件的查看，可以得知是可以在process_response中获取response.text 实际上是js代码，一段不规则加密代码和一段可读代码。 通过将这段 阅读全文
posted @ 2019-12-05 13:47 爱学习的红领巾 阅读(2529) 评论(0) 推荐(0) 编辑