python爬虫之企某科技JS逆向

python爬虫简单js逆向案例
在学习时需要用到数据，学习了python爬虫知识，但是在用爬虫程序的时候就遇到了问题。具体如下，在查看请求数据时发现返回的数据是加密的信息，现将处理过程记录如下，以便大家学习交流。

内容简介

需求：爬取某企科技网站投资事件栏目https://qimingpian.cn/finosda/project/einvestment的数据。

出现问题：获取数据首先需要发送请求，得到响应数据 。通过网页分析可知，需要获取的数据来自ajax发送POST请求动态获取，所以我选择通过向ajax的url发送请求得到响应数据。得到的返回数据是加密的，如下图所示。

解决办法：通过分析浏览器请求到的相关js文件,找到解码部分代码，通过调用python中的js库execjs执行js代码

 

1.根据其关键字 encrypt_data进行全局搜索，寻找js的解密代码

2.找到 return t.encrypt_data && (t.data = Object(d.a)(t.encrypt_data))

此处得到的代码就是解密encrypt_data。在引处打断点，然后点击跳入。

3.找到解析方法：

function s(e) {
    return JSON.parse(o("5e5062e82f15fe4ca9d24bc5", a.a.decode(e), 0, 0, "012345677890123", 1))
}

 

4.调试到这里的时候参数e已经是之前接口中获取到的加密数据，通过JSON.parse转为json对象返回。

接下来重点分析这个区域的代码，可以看到，只有a.a.decode(e)调用了e，所以这个地方需要生成两个函数，一个是o(六个参数)，另一个是其包含的这个函数decode(一个参数，也就是前面接口中获取到的encrypt_data)，其他都是固定的字符串，将此方法o的js定义直接复制过来就行了

上面就是方法o的具体定义了，然后我们再找找decode方法。

5.按照上面的方法找到decode方法，查看decode方法定义，其中用到两个变量f,c，其初始值在上方，替换即可。到此我们就把这两个方法定义全部搞定了。

接下来再根据网站中的逻辑将加密数据解密，我们自己写一个返回的方法。

 

function decrypt(t){
    return JSON.parse(o("5e5062e82f15fe4ca9d24bc5", decode(t), 0, 0, "012345677890123", 1))
}

 

6.将上面的方法o和decode，以及decrypt方法写入qiming.js

然后在Python代码中使用execjs调用js中的方法就可以了。

with open("qiming.js", encoding='utf-8') as f:
        js_code = f.read()

    ctx = execjs.compile(js_code)
    decrapy_data = ctx.call("decrypt", encrypt_data)

 

至此，数据已解密出来，接下来请继续做其它的处理操作。