爬虫-怎么拿到JS生成的结果？

解决思路

1.找到JS代码

2.在python重写逻辑，或者python调用js执行的模块拿到结果

看看在哪里调用了这个js逻辑

点击方法名 进入

发现调用了新的函数

再次查看visit的调用函数，找到参数的生成方式为

 onclick="visit(\'' + autourl[b] + '\')"  

发现新的函数

function auto(b) {
    t = (tim - ts[b]) / 100;
    tt = t.toString().split('.');
    if(tt.length==1) t = t.toString() + '.00';
    else if(tt[1].length < 2)  t = t.toString() + '0';
    if (t > 4) document.getElementById("txt" + b).innerHTML = '<font color=red>连接超时！<\/font>';
    else document.getElementById("txt" + b).innerHTML = 'takes ' + t + 's.   <a href="javascript:;" class="ok" onclick="visit(\'' + autourl[b] + '\')"> 现在访问 <\/a>'
}

发现经常会需要用到Gword 我们可以解析拿到这个数据

 

好开始刚

我们拿到了Gword

 这个地方有2个解决方案了

• 1是用Python重写编写相关逻辑
• 2通过Python调用JS直接实现

我们把需要用到的js代码复制到一个文件里面

 

 

通过Python 执行JS库 execjs

execjs可以在python中运行javascript代码

官网：https://pypi.org/project/PyExecJS/

安装：pip install PyExecJS

可以切换清华源

安装成功之后在pycharm中引入一下，不出错误，表示运行成功

我们对JS进行编译

import execjs
with open('scmor.js', 'r', encoding='utf-8') as f:
    js = f.read()
    ctx = execjs.compile(js)  # 对JS进行编译

print(ctx.call('visit','QSQ7XggEHBUhXDxYLwIFHwh4ZRkwXFI0Pw4jGj5ZXlI='))  #给visit 进行传递参数 拿到我们的url