从Web服务器的攻击防御工具HttpGuard(防cc攻击等)看Web服务器的反爬虫设置 —— 如何优化爬虫的性能
HttpGuard网址:
https://github.com/centos-bz/HttpGuard
从https://vv1234.cn/archives/243.html可知,如果同个IP的访问在一定时间内超过一定数量那么就会被判为异常并进行拦截。
从https://cloud.tencent.com/developer/article/1430620?from=15425&areaSource=102001.1&traceId=SBnf0St8_Ib9v_pQtdhQq中我们可以知道,web服务器对单IP的访问限制一般为:
1. 设置单IP每秒的最多访问数;
2. 设置一段时间内单IP的最多访问数,如几秒时间内的总访问数不超过某值;
3. 设置单IP的最大访问连接数。
对于前两种我们可以在正式爬取前做一下测试,提前判断一下这个数值,比如最后判断出每秒的访问数不能超过5次,那么我们就可以在正式编写爬虫时把每秒请求数值定为4或者3,这样再保证爬虫性能的同时又能避免被拦截。
而对于第三点,我们就需要在编写爬虫时注意对请求访问的关闭,每次访问获取到信息后一定要第一时间关闭,在新的访问发起前一定要保证之前的访问连接已关闭。
在保证上面的几点后,我们在正式编写对某个网站的爬虫时也是要提前做好测试,只有这样才能把最终的爬虫性能性能做到最高。
==========================
posted on 2023-01-31 17:44 Angry_Panda 阅读(270) 评论(0) 编辑 收藏 举报
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· NetPad:一个.NET开源、跨平台的C#编辑器
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
2018-01-31 Centos7 环境下 tty 终端 中文乱码 问题