POST 异步请求 url没有明文显示
之前在http://www.cnblogs.com/coco1s/p/4954063.html这里看到一篇比较好的Node爬虫,其中有个问题:
我们自己进到博客园的这里,发现:
这个请求是POST的,而在上几篇博文我整理到了GET和POST的区别,具体看http://www.cnblogs.com/zhangmingzhao/p/7702000.html
这里的URL虽然是https://www.cnblogs.com/#p3,爬虫如果还是用这个做请求,不能得到正确的第三页数据,因为点第三页的时候,这个本是向服务器发送了一个异步POST请求,显示出来的URL是被加工的,一般我们不能根据POST请求从URL上得出信息,这里还是利用开发者工具抓取到这个包数据,用转码后的实际url参数http://www.cnblogs.com/?CategoryId=808&CategoryType=%22SiteHome%22&ItemListActionName=%22PostList%22&PageIndex=15&ParentCategoryId=0 就成功了。
分类:
b) 计算机网络
, b) Node.js
【推荐】还在用 ECharts 开发大屏?试试这款永久免费的开源 BI 工具!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 软件产品开发中常见的10个问题及处理方法
· .NET 原生驾驭 AI 新基建实战系列:向量数据库的应用与畅想
· 从问题排查到源码分析:ActiveMQ消费端频繁日志刷屏的秘密
· 一次Java后端服务间歇性响应慢的问题排查记录
· dotnet 源代码生成器分析器入门
· ThreeJs-16智慧城市项目(重磅以及未来发展ai)
· .NET 原生驾驭 AI 新基建实战系列(一):向量数据库的应用与畅想
· Browser-use 详细介绍&使用文档
· 软件产品开发中常见的10个问题及处理方法
· Vite CVE-2025-30208 安全漏洞