postman 出现Enable JavaScript and cookies to continue 如何反爬(js反爬)
网页无法F12,禁止调试出现debug怎么办
直接F8禁用,ctrl+F8开启调试断点
网站禁止ip访问,并且关闭了icmp回包,调试最好禁用缓存,以便实时更新
![image](https://img2023.cnblogs.com/blog/3036865/202311/3036865-20231123144210333-382659023.png)
用postman单独访问首页的index的首页也是无法获取网页内容
![image](https://img2023.cnblogs.com/blog/3036865/202311/3036865-20231123144539982-585830510.png)
考虑网页使用js进行跳转
实例:
比如使用postman请求https://www.phind.com/
简单来说,就是html文件中包含cookie设置和动态跳转网址的js代码,访问这个网页时js会设置cookie然后重定向到另一个网页,所以只是get这个url是不行的。
同理,如果清除cookie,在浏览器中f12,然后按f1禁用js,也会出现postman请求放回的内容
网页检查禁用 JavaScript
若要关闭 JavaScript,请:
若要打开 DevTools,请右键单击网页,然后选择“ 检查”。 或者,按 Ctrl+Shift+I (Windows、Linux) 或 Command+Option+I (macOS) 。 DevTools 随即打开。
按 Ctrl+Shift+P (Windows、Linux) 或 Command+Shift+P (macOS) 打开 命令菜单。
js格式化工具
https://coding.tools/cn/javascript-beautifier
实现抓取的过程如下:
先get之前能得到的带有js的html。
将其中的js代码正则提取出来。
将里面的atob替换为window["atob"],增加window对象,函数getURL()返回window["location"],即跳转的链接尾缀。
将这个修改后js代码执行,得到尾缀,与原URL链接,得到重定向的URL。
还有就是cookie问题,直接用requests的session处理就好。(会话保持,保持cookie)
补充:
cookie转换成字典
def convert_cookies_to_dict(cookies):
cookies = dict([l.split("=", 1) for l in cookies.split("; ")])
return cookies
## get网页
## 方式一
import requests
requests.get(url="",headers=dict_header,cookies=dict_cookie)
## 方式二
requests.request(mehod="get/post")
使用help方法可以查看函数的用法和参数类型
从浏览器f12获取get的cookie
使用函数抓换
这里的网站使用了cloudflare的反爬
解决办法。使用一个docker去处理绕过cloudflare验证
docker run -d \
--name=flaresolverr \
-p 8191:8191 \
-e LOG_LEVEL=info \
--restart unless-stopped \
ghcr.io/flaresolverr/flaresolverr:latest
把请求转发给8191端口,然后等待放回
python代码
结果,返回成功