nginx-伤心的事

今天测试接口,总是出问题,测试了两天,整个流程就卡在最后一步。

每次采用curl,request等请求访问我的服务器都会返回403状态码,网上找了很多资料

有权限的,有静态文件的,然而很多都没有什么卵用,天下文章一大抄

找了公司的技术总监帮我看了下,原来是nginx里配置了反爬策略,导致有些请求过不来

复制代码
server {
        listen      80;
        server_name xxx.xxx.com;
        charset     utf-8;

        #include /etc/nginx/anti_spider.conf;    ###就这个破玩意,
        # max upload size
        client_max_body_size 75M;

        location /static {
            alias  /home/data/my_web_project/idfa_switch/allstatic;
        }

        location / {
            uwsgi_pass  django;
            include     uwsgi_params;
        }

    }
复制代码

接下来看看这个破东西到底是什么

复制代码
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
     return 403;
}

#禁止指定UA及UA为空的访问
if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|M
icrosoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) {     return 403;
}

#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
    return 403;
}

#屏蔽单个IP的命令是
#deny 123.45.6.7
#封整个段即从123.0.0.1到123.255.255.254的命令
#deny 123.0.0.0/8
#封IP段即从123.45.0.1到123.45.255.254的命令
#deny 124.45.0.0/16
#封IP段即从123.45.6.1到123.45.6.254的命令是
#deny 123.45.6.0/24

# 以下IP皆为流氓
# deny 58.95.66.0/24;
复制代码

可以看到很多请求过来都是返回403.。这次教训记住了,第二次犯错。。

遇到403不只是权限和静态文件不存在,还有可能是反爬策略,找到这个文件,直接注释了就可以完美解决

 

posted @   一石数字欠我15w!!!  阅读(144)  评论(0编辑  收藏  举报
编辑推荐:
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
点击右上角即可分享
微信分享提示