爬取WX小程序的数据

方法一：

使用TBS工具，调试跟踪获取URL

https://x5.tencent.com/tbs/guide/debug/download.html

https://x5.tencent.com/tbs/guide/debug/season1.html

 

方法二：

下载小程序的包，反编译，查看代码或者用微信开发者工具调试跟踪

1、node.js运行环境

• 如果没有安装nodejs，请先安装一下
• 下载地址：https://nodejs.org/en/

2、反编译的脚本

• 这里提供一个Github上qwerty472123大神写的node.js版本的，当然也有其它版本的，例如python版本，这里我只是简单地用node.js版本举例
• 地址：https://github.com/qwerty472123/wxappUnpacker

3、（1）通过电脑获取小程序

• 在手机上点击微信小程序右上角的三个点，选择发送给朋友，选择自己
• 在PC端微信打开小程序
• 在C:\Users\{{电脑用户名}}\Documents\WeChat Files\Applet\{{小程序AppID}}\{{随机产生的数字}}\__APP__.wxapkg 找到小程序源码

     （2）通过模拟器获取小程序（当前测试夜神模拟器小程序不会闪退，其它mumu和雷电都不行，闪退问题也不大，其实后台已经开始下载）

• 启动模拟器（要求自带root权限）
• 在模拟器微信中运行一下小程序后，直接切回模拟器桌面，运行RE浏览器 来到目录
• 根目录/data/data/com.tencent.mm/MicroMsg/{一串16进制字符}/appbrand/pkg/
• 把包压缩成zip，并传到电脑

4、安装解包工具

• https://github.com/xuedingmiaojun/wxappUnpacker

5、反编译

• 在node命令窗口中安装依赖：npm install（可以用cnpm替换npm ： npm install -g cnpm --registry=https://registry.npm.taobao.org）

• npm install esprima
  npm install css-tree
  npm install cssbeautify
  npm install vm2
  npm install uglify-es
  npm install js-beautify
  npm install escodegen
  npm install cheerio
  

   

• 安装好依赖之后，就是最后一步了，反编译 .wxapkg 文件

• 在当前目录下输入 
  node wuWxapkg.js [-d] <files…> //files就是你想要反编译的文件名 
  例如：我有一个需要反编译的文件 _163200311_32.wxapkg 已经解压到了D盘根目录下,那么就输出命令 
  node .\wuWxapkg.js D:\_163200311_32.wxapkg

6、使用微信开发者工具打开并调试，需要有微信号登录，并设置可信域名(域名一般在代码的config.js里面)

• 开发工具下载网址：https://developers.weixin.qq.com/miniprogram/dev/devtools/download.html
• 开发工具说明：　https://developers.weixin.qq.com
• 设置可信域名：https://mp.weixin.qq.com/
  • 　　如果是测试，可以直接在https://developers.weixin.qq.com/miniprogram/dev/devtools/sandbox.html （https://developers.weixin.qq.com/weloginpage?redirect_url=%2Fsandbox） 用登录微信开发工具的微信扫码登录
  • 　　如果如果刷新appid还空白，就去登录一下微信开发社区（https://developers.weixin.qq.com/），在返回申请页面刷新一下，appid就会显示出来了