反爬虫方式
大概了解的有几种
一、封ip
通过监控追踪日志,找出异常来源ip,在防火墙拦截掉。在iptables中给禁掉。这种情况对有限个ip有效,若出现大量ip攻击,则不可取。
可以封单个ip,也可以封ip所在的网段,这种方式也容易误伤。
二、返回错误数据
分析爬虫来源,将请求转发到另一个平台,返回一些无效数据。
三、需要验证
客户端与服务端约定好一个算法,每个请求都带有一个header字段,在服务端校验,验证不通过则认为是恶意攻击导致,直接拦截。
虽然不能从根本上拦截爬虫,但是可以在一定程度上增加爬虫难度。
四、接口数据加密
服务端接口定义一个数字及文字的字典库,对数字及文字进行加密之后再响应。客户端拿到响应数据,再利用解密算法解密之后,展示给客户。