摘要: 运维同学,线上机器怎么又双叒叕挂了? 思路: 对爬虫也是相爱相杀多年,我对线上爬虫的应对出现的几个阶段: 1、分析日志,找出异常请求,封ip。 2、通过waf,针对某个uri ,进行限流(并且人机识别),控制的还是源ip,起初有点成效。 3、遇到大量单ip,触发不到人机识别,通过nginx自带的li 阅读全文
posted @ 2024-06-03 11:43 JvvYou 阅读(6) 评论(0) 推荐(0) 编辑