猿人学python爬虫第一题
打开网站。F12，开启devtools。发现有段代码阻止了我们调试
好的。接下来有几种解决方法
1- 绕过阻止调试方法
方法1（推荐）
鼠标放在debugger该行，左边数字行号那一列。右键选择不在永不在此处暂停
再次点击恢复，就跳出该debbug了
方法2 （抓包改返回）
我用的抓包软件是burp，burp默认不拦截js请求。需要更改成拦截js请求。更改教程
拦截对应代码的文件，将其中内容去掉，保证它发挥不出原本的功能就行
2- 反混淆包含数据的请求代码
经过上一步，我们可以正常调试代码了。这一步我们要找到包含价格数据的请求，然后爬取它。最后就大功告成！可是这个过程似乎并不顺利
- 找到含有数据的请求
所以，只要传入m，还有page，就可以返回数据。关于m的生成，在后面
-
查看该请求调用堆栈
-
进入eval方法
因为eval是除主程序外最先开始调用的。所以要找的代码在这里
关于VM102647该文件：我认为这个文件就是传入eval的内容，然后调试器帮我们代码美化了下，就成为了这个文件。
4. 代码反混淆
官方js反混淆网址
记得复制所有代码进去。不要漏掉底下下的request()。
这是图片，拖动条拖不得
3-分析m的生成
抛开其中无关代码，只找有关m生成的
var _0x2268f9 = Date.parse(new Date()) + 100000000, _0x57feae = oo0O0(_0x2268f9.toString()) + window.f;_
0x5d83a3.m = oo0O0(_0x2268f9.toString()) + window.f + '丨' + _0x2268f9 / 1000;
不难发现，需要找到oo0O0 函数的实现方法。其他要么就是系统自带，要么就是变量。我们先关注该函数是怎么实现的
找到该代码位置，复制该行下来。
丢进之前的反混淆网站上去，里面有代码美化功能
这个网站解密要把一些其他的js标签，如<script>..<script> 将它们删除，只留下包含目标函数的js标签。然后去解密才可以代码美化。
分析该函数代码，最后一行有个eval。
● atop 将base64代码解密
● window['b'] 包含base64代码，里面经过atop解密出一些js代码
● J('0x0', ']dQW') 一个混淆，拿到调试器控制台去运行发现是 "replacee" 这个字符串
● J('0x1', 'GTu!') 一个混淆，解密发现是 "mwqqppz" 这个字符串
● '\x27' + mw + '\x27' 就拿单引号包着这个变量。
该代码的意思是，将字符串mwqqppz替换为 '\x27' + mw + '\x27'
运行 atob(window['b']
运行atob(window['b'])[J('0x0', ']dQW')](J('0x1', 'GTu!'), '\x27' + '123456' + '\x27')
不难看出，这就是一个简单替换。即
windows.f = hex_md5(mv)
将相关加密代码copy到本地
在同文件中编写生成m的函数，以便于python调用该函数
function get_m_value() {
var _date = Date.parse(new Date()) + 100000000;
var f = hex_md5(_date.toString());
var m = f + '丨' + _date / 1000;
return m;
}
编写python代码
import requests
import execjs
import time
requests.packages.urllib3.disable_warnings()
def get_res(page_num, parm):
url = f'https://match.yuanrenxue.com/api/match/1?page={page_num}&m={parm}'
headers = {
'Host': 'match.yuanrenxue.com',
'Referer': 'http://match.yuanrenxue.com/match/1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50',
'X-Requested-With': 'XMLHttpRequest',
'Cookie': 'Hm_lvt_c99546cf032aaa5a679230de9a95c7db=1634894322; qpfccr=true; no-alert3=true; Hm_lvt_9bcbda9cbf86757998a2339a0437208e=1634894331; vaptchaNetway=cn; Hm_lvt_0362c7a08a9a04ccf3a8463c590e1e2f=1634894320,1634894605; Hm_lpvt_0362c7a08a9a04ccf3a8463c590e1e2f=1634894656; tk=2886305154209229651; Hm_lpvt_9bcbda9cbf86757998a2339a0437208e=1634900896; Hm_lpvt_c99546cf032aaa5a679230de9a95c7db=1634902874'
}
proxies = {
'http' : 'http://127.0.0.1:8888',
'https' : 'http://127.0.0.1:8888',
}
if page_num > 3:
headers['Cookie'] = headers['Cookie'] + ';sessionid=1;'
headers['User-Agent'] = 'yuanrenxue.project'
resp = requests.get(url=url, headers=headers, verify=False, timeout=5, proxies='')
if resp.status_code < 400:
return resp.json()
else:
print("Error!!")
def calc_m_value():
with open('get_m.js', mode='r', encoding='utf-8') as f:
jsdata = f.read()
m_value = execjs.compile(jsdata).call('get_m_value')
result = m_value.replace("丨", "%E4%B8%A8")
return result
def calc_result(res_data):
global _sum
for item in res_data['data']:
_sum += item['value']
if __name__ == '__main__':
_sum = 0
m = calc_m_value()
for page in range(1,6):
res_data = get_res(page, m)
calc_result(res_data)
time.sleep(1)
print(_sum)
print(_sum/50)
