摘要：运维同学，线上机器怎么又双叒叕挂了？ 思路： 对爬虫也是相爱相杀多年，我对线上爬虫的应对出现的几个阶段： 1、分析日志，找出异常请求，封ip。 2、通过waf，针对某个uri ，进行限流（并且人机识别），控制的还是源ip，起初有点成效。 3、遇到大量单ip，触发不到人机识别，通过nginx自带的li 阅读全文