进击的反爬机制
爬 虫 & 反爬虫
爬 虫：
指通过一定的规则策略，自动抓取、下载互联网上的网页内容，再按照某些规则算法抽取数据，形成所需要的数据集。有了数据，就有可能进行一些非法活动。
反爬虫：
一般指网站管理员使用一定的技术手段，防止爬虫程序对网站的网页内容进行爬取，以及阻止通过爬虫获取数据后的非法活动。
反爬方与爬虫方相互博弈，不断制造爬取难度，或一定程度上阻止了爬虫行为。爬虫方也在不断更新技术，来对抗种种反爬限制。
对抗过程
初始状态下，网站提供网站服务，未部署任何反爬措施。
ROUND 1
爬虫方启动爬虫程序 (实验环境中使用 scrapy 爬取) 成功爬取网页内容。
反爬方发现有爬虫程序在对网站进行爬取，在分析日志中访问请求的 user-agent 后，加载 iWall3 Web应用防火墙模块，编写并加载防护规则 anti-crawlers-match-user-agents.json 如下：
{
"info": {
"title": "UA Crawlers list"
},
"rules": [
{
"meta": {
"phase": 2,
"desc": "https://github.com/coreruleset/coreruleset/blob/v3.3/dev/rules/crawlers-user-agents.data"
},
"if": {
"variable": [
"REQUEST_HEADERS",
"REQUEST_BODY",
"REQUEST_FILENAME"
],
"transform": "lowercase",
"operator": "contain",
"pattern": [
"80legs",
"black widow",
"blackwindow",
"prowebwalker",
"pymills-spider",
"ahrefsBot",
"piplbot",
"grapeshotcrawler/2.0",
"grapefx",
"searchmetricsbot",
"semrushbot",
"rogerbot",
"mj12bot",
"owlin bot",
"lingewoud-550-spyder",
"wappalyzer",
"scrapy"
]
},
"then": [
"IP.bad_ua_count@20=IP.bad_ua_count+1",
"if": "IP.bad_ua_count > 3",
"then": {
"action": "deny",
"log": "Too frequnt access from crawlers."
}
]
}
]
}
爬虫方再次爬取网页，发现超过一定阈值后，后续爬虫请求被阻止：
反爬方防护成功。
ROUND 2
爬虫方在初次交锋中 user-agent 被识别，这一次则使用随机的 user-agent (scrapy 使用 random_user_agent 配置)，成功爬取网页内容。如下图：
反爬方利用 user_agent 防护的措施失效后，可根据“爬虫 (同一个 IP 地址) 在短时间内会访问多个不同应用 (如 url)”的逻辑，编写并加载防护规则 anti-crawlers-limit-user-access-different-application.json 如下：
{
"rules": [
{
"meta": {
"phase": 2,
"function": "当IP.urls字段中不包含当前访问的请求名，则进行设置操作加判断操作。如果是参数代表不同应用修改即可。",
"function": "设置操作包括给原有的IP.urls字段append新的请求名，并给IP.urls_count加1;",
"function": "判断操作是判断IP.urls_count是否大于5(代表10秒内访问了不同的url，不同的url代表不同的功能)，",
"function": "若是则deny,否则放行。"
},
"if": [
{
"or": [
"REQUEST_FILENAME == '/shopxo-1.6.0/index.php' && @ARGS.s == '/index/user/reginfo.html'",
"REQUEST_FILENAME == '/shopxo-1.6.0/index.php' && @ARGS.s == '/index/user/logininfo.html'",
"REQUEST_FILENAME == '/shopxo-1.6.0/index.php' && @ARGS.s == '/index/category/index.html'",
"REQUEST_FILENAME == '/shopxo-1.6.0/index.php' && contain(@ARGS.s, '/index/search/index/category_id')",
"REQUEST_FILENAME == '/shopxo-1.6.0/index.php' && contain(@ARGS.s, '/index/article/index/id')",
"REQUEST_FILENAME == '/shopxo-1.6.0/index.php' && contain(@ARGS.s, '/index/goods/index/id')"
]
},
{
"not": {
"variable": "IP.args_s",
"operator": "contain",
"pattern": "';' .. ${@ARGS.s} .. ';'"
}
}
],
"then": [
"IP.args_s@10=IP.args_s .. ';' .. @ARGS.s .. ';'",
"IP.args_s_count@10 = IP.args_s_count+1",
"if": "IP.args_s_count > 5",
"then": {
"action": "deny",
"log": true
}
]
}
]
}
超过一定阈值后，后续爬虫请求被阻止：
反爬方防护成功。
ROUND 3
爬虫方由于在上一回合中使用同一 IP 地址且访问速度过快，导致反爬方可以依此特性设置防护。故改为使用 IP 代理池 (scrapy 使用 IP 代理池)，成功爬取网页内容。Proxy_ip 的设置如下所示：
反爬方更新防护措施，相应地在页面中增加“蜜罐页面链接”。一旦爬虫程序访问“蜜罐页面链接”就会被拦截。编写并加载防护规则 anti-crawlers-add-honeypot-page.json 如下：
{
"rules": [
{
"meta": {
"phase": 3,
"function": "当访问/shopxo-1.6.0/idnex.php时，在<a href ...>标签下面增加一个标签(含有假的链接)"
},
"if": [
"REQUEST_METHOD == 'GET'",
"REQUEST_FILENAME == '/shopxo-1.6.0/'",
"#ARGS == 0"
],
"then": {
"execution": [
{
"directive": "alterResponseBody",
"op": "string",
"target": "<div class=\"navigation-button am-show-sm-only\">",
"substitute": "<div class=\"navigation-button am-show-sm-only\"> <a href=\"http://10.10.11.67/shopxo-1.6.0/index.php?s=/index/user/fake_logininfo.html\"></a>",
"ignore_case": false
}
]
}
},
{
"meta": {
"phase": 1,
"function": "当爬虫进行页面爬取时，就会访问到假的链接时，进行阻止"
},
"if": [
"REQUEST_FILENAME == '/shopxo-1.6.0/index.php'",
"@ARGS.s == '/index/user/fake_logininfo.html'"
],
"then": {
"action": "deny"
}
}
]
}
网站加载此规则后，爬虫程序有些请求会被拦截，效果如图：
反爬方防护成功。
ROUND 4
爬虫方在前面的攻防对抗中，爬虫程序进行全局爬取会访问到“蜜罐页面链接”。为避开蜜罐，爬虫方使用 Selenium + WebDriver 对网站进行访问，成功爬取网页内容。
反爬方为应对新的爬虫手段，尝试在前端做“插桩”操作，并判断返回的 WebDriver 属性，编写并加载防护规则 anti-crawlers-check-is-selenium-chromedriver.json 如下：
{
"rules": [
{
"function": "1.当访问GET /shopxo-1.6.0/index.php?s=/index/user/reginfo.html 时，修改</head>为",
"function": "<script>const ret = window.navigator.webdriver;$.get(\"http://[这块写上host即可]/shopxo-1.6.0/index.php/send_result.js\"+$ret, function(data, status){});</script></head>",
"meta": {
"phase": 3
},
"if": [
"REQUEST_FILENAME == '/shopxo-1.6.0/index.php'",
"@ARGS.s == '/index/user/reginfo.html'"
],
"then": {
"execution": [
{
"directive": "alterResponseBody",
"op": "string",
"target": "var __user_id__ = 0;",
"substitute": "var __user_id__ = 0; var ret = window.navigator.webdriver;var url_ret=\"http://10.10.11.67/shopxo-1.6.0/index.php/send_result.js?ret=\"+ret; var httpRequest = new XMLHttpRequest(); httpRequest.open('GET', url_ret); httpRequest.send(); ",
"ignore_case": false
}
]
}
},
{
"meta": {
"phase": 1,
"function": "当访问send_result.js时,获取到ARGS.ret,查看是否是true,若是则deny"
},
"if": [
"REQUEST_FILENAME == '/shopxo-1.6.0/index.php/send_result.js'",
"@ARGS.ret != 'false'"
],
"then": {
"verdict": {
"action": "deny",
"log": "client is chromedriver!",
"continued": {
"subject": "REAL_IP",
"action": "deny",
"duration": 36000,
"log": "${REAL_IP.__id} in blocking"
}
}
}
}
]
}
网站加载本规则后，爬虫请求被拦截，且被持续拦截。
反爬方防护成功。
ROUND 5
爬虫方在上一轮对抗中，因使用 Selenium + WebDriver 会将 WebDriver 属性设为真，对方可据此属性值对爬虫进行拦截。采用如下设置即可修改 WebDriver 的值：
Object.defineProperties(window.navigator,{webdriver:{get:()=>false}})
爬虫方每次使用 Selenium + WebDriver 进行爬取前，预先执行一下这段 js 代码，即可成功爬取网页内容。
反爬方对应的防护规则因 WebDriver 值被人为更改而失效，继而尝试增加字体反爬规则。
规则背景是，在爬虫与反爬示例中，字体文件会产生一个 *.woff 的请求：
以测试页面 niushop 项目首页为例，对价格进行字体反爬处理：
规则如下：
网站加载此规则后，爬虫方获取的价格显示为乱码。
反爬方防护成功 (价格信息)。
ROUND 6
爬虫方受制于字体反爬规则，爬取价格信息时得到的是乱码。于是，在网站字体文件不变的情况下，直接解析固定的 woff 文件——
使用 Python 下 fontTool 库的 ttLib 包，破解反爬的代码文件与效果如下：
爬虫方成功获取网页信息 (准确的价格信息)。
反爬方升级字体反爬规则，以应对爬虫方借字体文件对乱码所做的还原，升级思路是“字体信息不换，动态更换字符编码”——
1. 使用 fontCreator 软件对字体文件进行编码和位置的修改，并产生多个“编码各不相同”、“字体顺序各不相同”和“位置各不相同”的 woff 文件：
2. 在规则中随机调用这些字体文件。这里生成了 5 个随机 woff 文件 (实际字体坐标点信息不变)，在生产环境甚至可以制作 1000 个或更多。规则如下：
3. 效果是，多次请求获取到不同的 woff，且价格数值显示正常：
这一措施是利用随机 woff 文件增加爬虫难度。对爬虫方来说，由于 woff 文件中的对应关系变为随机，原先的爬虫程序失效。
反爬方防护成功 (价格信息)。
ROUND 7
爬虫方因防守方升级字体反爬规则，而原有脚本需要对每一个 woff 进行信息映射。如果运行原有脚本，会出现错误的价格数值，测试结果如下：
攻击方需加码升级爬虫脚本，根据“同一个字符其字体关键点的坐标是不变的”的逻辑爬取网页。爬取的代码文件如下：
多次访问验证效果，可以获取原有价格数值：
此时，爬虫方可以成功获取网页信息 (准确的价格信息)。
反爬方由于升级后的字体反爬规则被破解，需要继续升级规则。思路：在已有的动态编码的基础上，追加一个动态字体坐标 (以不影响页面字体显示为前提，微调字体的坐标点，类似于验证码中字体的扭曲变形)。通过微调字体形状 (反映在坐标点上)，网站可以做出 1000+ 种字体文件，本文测试中设置出 20 种 (0-19) 字体文件用于随机。
部署后访问页面，价格信息可以正常显示。而爬虫方由于字体本身信息被微调，脚本再次失效。
反爬方防护成功 (价格信息)。
ROUND 8
爬虫方针对字体爬虫脚本的失效，可以发展出两种破解方案：一个是 OCR 技术 (Optical Character Recognition，光学字符识别)，另一个是 KNN 算法 (K 近邻分类 K-Nearest Neighbor Classification)。
此处使用 KNN 算法尝试破解。
1. 测试文件地址：
2. 首先，font.py 脚本从网站中下载 5 个随机 woff 文件，存储到 fonts 目录中，并修改 font.py 脚本中所代表的字体值 (根据下载的 woff 文件在 fontCreator 中的顺序修改)，如下：
3. 而后，执行 python3 knn_test.py，看到预测率为 100%，如图：
4. 接下来，预测并替换原响应内容，得到正确内容：
可以看到，爬虫方成功获取了信息。
反爬方字体反爬规则对 KNN 算法失效。此时，在字体上的反爬措施也已经走到尽头。防守需转换阵地，对相关网页内容进行 js 混淆，使用 JavaScript-Obfuscator 开源项目进行加密测试。
在本文的测试环境下，通过 cli 命令对 handle_init_js.js 文件进行混淆：
javascript-obfuscator/bin/javascript-obfuscator handle_init_js.js -o a_out.js --compact false
由于网页信息做了 js 混淆处理，爬虫方需要先解密混淆的 js 代码。如果爬虫方无法解密混淆后的 js 代码，则网站反爬防护成功。
ROUND 9
爬虫方一旦其一步步吃透了混淆后的 js 代码，同样可以成功爬取网页信息。
反爬方需继续改变应对策略，增设图片反爬规则。
这里有两种方式：
方式一：将敏感文字信息以图片形式显示，并设置图片加扰等措施。效果和规则如下：
方式二：svg 图片与 css 样式偏移显示结合，进行反爬。效果和规则如下：
由于价格以图片显示，能爬取的只有图片链接和 html 标签信息，并不能直接获取价格信息。在爬虫方难以进一步做图片识别的情况下，可视为对网站进行了成功的反爬防护。
ROUND 10
爬虫方：上回合里，价格以图片方式呈现，爬虫方无法直接获取价格信息，故需要使用 OCR 技术来获取图片中的内容。
以 Tessarect(c++) 开源项目为例 (地址)，安装命令为：
./autogen.sh && ./configure && make && make install && ldconfig
git clone https://github.com/tesseract-ocr/tessdata.git
export TESSDATA_PREFIX=/usr/local/pachong/ocr/tesseract/tessdata/
测试如图所示：
可以看到，图片内容被准确识别出来，爬虫成功获取到了价格信息。
反爬方：网页终究是提供信息供用户阅览的，当爬虫方使用 OCR 技术进行图片识别的时候，网站暂时是没有更好的办法进行反爬防护的。当然，还可以继续跟爬虫方在图片显示技术上进行对抗，譬如使用图片水印对原信息进行处理。网页终究是要呈现信息给用户的，当走到爬虫方使用 OCR 技术进行图片识别这一步时，网站暂时是没有更好的办法进一步反爬的。当然，还可以继续跟爬虫方在图片显示技术上进行对抗，譬如使用图片水印对原信息进行处理。
总结
正所谓，“道高一尺魔高一丈”，爬虫和反爬的对抗始终斗智斗勇，步步紧逼，相互间的博弈没有终点。
（张戈 | 天存信息）
