随笔 - 82  文章 - 2 评论 - 1 阅读 - 29061
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

最近感觉很多网站都风控的很严啊,这几天因为业务需求需要获取亚马逊数据。然后访问的时候才发现有些时候能返回数据,有些时候返回503,返回503的时候不管我怎么切换ip或者修改请求头,都不管用。浏览器能正常访问。不知道如何下手

然后在网上找了很多的解决办法都不行,咨询爬虫小伙伴才知道,503就是反爬,代理直接被亚马逊拉黑了,不仅是503,像出现200的字符、重定向都是因为反爬了。经过半天的研究我发现出现503最主要的是因为我使用的代理ip质量不行,然后换了一家重新试了下,也更换了代理的接入模式,https://www.16yun.cn/help/ss_demo/。现在的采集方案是随机切换请求头,cookie和ip,然后每次请求更换新的ip,ip质量还可以,虽然访问过程中还是会返回503,但是比例比较少,可以忽略不计。

如果大家在采集数据过程中遇到503比较棘手,可以一起交流交流。

posted on   小橙子11  阅读(520)  评论(0编辑  收藏  举报
编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· 周边上新:园子的第一款马克杯温暖上架
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· DeepSeek如何颠覆传统软件测试?测试工程师会被淘汰吗?
· 使用C#创建一个MCP客户端
点击右上角即可分享
微信分享提示