抓取网页报403错误,爬虫解决403禁止访问错误方法

抓取网页报403错误,爬虫解决403禁止访问错误方法

一般就是被禁止了,加上对应的header参数就可以了,要具体分析正常访问时需要那些头信息
其中User-Agent是浏览器特有的属性,通过浏览器F12调试器就可以看到

以下是Python示例,java也类似

req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36")
req.add_header("GET",url)
req.add_header("Host","blog.xxx.net")
req.add_header("Referer","http://www.xxx.net/")

获取浏览器类型的User-Agent信息,在自定义函数中需要写出自己的Host,Referer,GET信息等,
解决这几个问题,就可以顺利访问了,不再出现403禁止访问了
如果访问频率过快的话,需要用到代理IP的方法。

posted @   大自然的流风  阅读(6012)  评论(0编辑  收藏  举报
编辑推荐:
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?
点击右上角即可分享
微信分享提示