2024年6月3日
当我遇到了爬虫
摘要： 运维同学，线上机器怎么又双叒叕挂了？ 思路： 对爬虫也是相爱相杀多年，我对线上爬虫的应对出现的几个阶段： 1、分析日志，找出异常请求，封ip。 2、通过waf，针对某个uri ，进行限流（并且人机识别），控制的还是源ip，起初有点成效。 3、遇到大量单ip，触发不到人机识别，通过nginx自带的li 阅读全文
posted @ 2024-06-03 11:43 JvvYou 阅读(5) 评论(0) 推荐(0) 编辑