2019 年 6月 22 日随笔档案 - 飞鸟42

2019年6月22日

关于千里马招标网知道创宇反爬虫521状态码的解决方案（python代码模拟js生成cookie _clearence值）

摘要：一、问题发现近期我在做代理池的时候，发现了一种以前没有见过的反爬虫机制。当我用常规的requests.get(url)方法对目标网页进行爬取时，其返回的状态码（status_code）为521，这是一种以前没有见过的状态码。再输出它的爬取内容（text），发现是一些js代码。看来是新问题，我们来探阅读全文

posted @ 2019-06-22 08:32 飞鸟42 阅读(383) 评论(0) 推荐(0) 编辑