针对Nginx日志中出现的漏洞扫描与爬虫的三种措施
0x001
使用fail2ban工具结合防火墙(iptables | firewalld),将大量404请求的IP地址封了。(详见fail2ban使用说明:https://www.cnblogs.com/bestOPS/p/10616401.html)
0x002
将所有非法请求跳转至首页:
在nginx.conf 或 虚拟主机的配置文件中的server 配置段落里执行:
a. 把返回错误页面配置 打开注释
error_page 403 404 500 502 503 504 = /error.html;
b. 加入下面配置:
1 2 3 4 5 | location / { if (!-e $request_filename){ rewrite ^(.*)$ /index .php?s=$1 last; break ; } } |
c. 编写error.html页面
略。
d. 平滑重启nginx systemctl nginx reload
0x003
指定User-Agent 并返回403
a. 在nginx.conf配置文件中加入:
include agent_deny.conf;
b. 在/../nginx/conf目录下新建agent_deny.conf
vi agent_deny.conf
# 禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } # 禁止指定UA及UA为空的访问 if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Googlebot|Ezooms|^$" ) { return 403; } # 禁止非GET|HEAD|POST的方式抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }
c. 修改Nginx配置文件后重启或重载
systemctl reload nginx | /etc/init.d/nginx reload | service nginx reload
该方法会屏蔽大量爬虫和自动化无差别攻击,使自己的服务器更加安全和高可用。
附录一:
在上述的 0x003中,可以将指定的User_agent加入到配置列表中,重载Nginx后,新加的User_agent将不能访问网站。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET 9 new features-C#13新的锁类型和语义
· Linux系统下SQL Server数据库镜像配置全流程详解
· 现代计算机视觉入门之:什么是视频
· 你所不知道的 C/C++ 宏知识
· 聊一聊 操作系统蓝屏 c0000102 的故障分析
· 不到万不得已,千万不要去外包
· C# WebAPI 插件热插拔(持续更新中)
· 会议真的有必要吗?我们产品开发9年了,但从来没开过会
· 如何打造一个高并发系统?
· 《SpringBoot》EasyExcel实现百万数据的导入导出