m、APP爬取

APP爬取

一、Fiddler安装

参考博客：https://zhuanlan.zhihu.com/p/347235743

1，分别下载最新版本的fiddler和mumu模拟器。

2，启动 fiddler Tools -> Options -> Connections 勾选 allow remote computers to connect (允许远程计算机连接) 重启程序，切记，一定要重启

3，查看IP，因为我有多个虚拟网卡，所以需要ipconfig /all查看真实IP

4，启动mumu模拟器，设置代理

5，保存就可以操作了。

二、Charles安装

参考博客：https://blog.csdn.net/weixin_38819889/article/details/109062587

1，分别下载最新版本的Charles和mumu模拟器。

2，点击 Help -----> SSL Prxoying -----> Install Charles Root Certificte

3，点击安装证书

4，点击本机计算机

5，选择 受信任 的根证书颁发机构

6，完成

7，模拟器里安装证书

模拟器里面的浏览器输入地址：chls.pro/ssl

8，下载完证书后的安装，证书名称可以随便写，自己认识就行，然后点击 保存。

9，测试

三、mitmproxy安装

参考博客：https://www.cnblogs.com/lsdb/p/10106655.html

1，安装mitmproxy

pip install mitmproxy

2，安装证书

完成之后在用户家目录下的.mitmproxy文件夹下即会生成证书，传到手机点击安装即可。

mitmproxy-ca.p12----PKCS12格式证书私钥

mitmproxy-ca.pem----PEM格式证书私钥

mitmproxy-ca-cert.cer----PEM格式证书，与mitmproxy-ca-cert.pem相同只是改变了后辍，适用于部分Android

mitmproxy-ca-cert.p12----PKCS12格式证书，适用于Windows

mitmproxy-ca-cert.pem----PEM格式证书，适用于大多数非Windows平台

mitmproxy-dhparam.pem----PEM格式秘钥文件，用于增强SSL安全性

Windows安装证书：双击mitmproxy-ca-cert.p12----全部默认直接点“下一步”直到安装完成。

Android安装证书：把mitmproxy-ca-cert.cer通过共享文件上传到模拟器，点击使用证书安装器安装证书

四、Appium安装

参考文档：《Python3网络爬虫开发实战》1.7.3

参考博客：https://baijiahao.baidu.com/s?id=1662021502495073716&wfr=spider&for=pc

1，安装Node.js

首先需要安装 Node.js ，具体的安装方式可以参考https://www.runoob.com/nodejs/nodejs-install-setup.html ，安装完成之后就可以使用 npm 命令了

2，使用 npm 命令全局安装 Appium

npm install -g appium 

3， JDK 安装

参考文档：https://www.cnblogs.com/zll-wyf/p/15095664.html

4， Android 开发环境配置

参考文档：https://www.runoob.com/android/android-studio-install.html

Android Studio集成了Android SDK，不用安装和配置了

5，安装Appium Desktop

下载路由：https://github.com/appium/appium-desktop/releases?page=3

6，安装完成后，启动Appium，host和port默认的即可，然后设置Android SDk和Java JDK，然后点下边那个保存并重启的按钮

7，然后点第一个Start Server按钮，将会看到

8，连接模拟器

打开开发者模式（点击关于平板电脑中的版本号），开启USB调试

9，连接模拟器

测试是否连接成功，可执行命令adb devices

注意：有些模拟器或者真机在Windows系统下可能直接执行 adb devices 时并不能直接连接成功，这时就需要使用命令 adb connect 127.0.0.1:port 来连接。port根据使用的模拟器来填写。例如：

​ 1、MuMu： 7555

​ 2、夜神： 62001

​ 3、海马：53001

​ 4、逍遥：21503

​ 5、天天：6555

​ 6、雷电、genymotion、谷歌原生：5555

10，配置Desired Capabilities

{
  "platformName": "Android",
  "platformVersion": "6.0.1",
  "deviceName ": "MuMu",
  "appPackage": "com.mumu.store",
  "appActivity": ".MainActivity"
}

platformName ：声明是ios还是Android系统

platformVersion： Android内核版本号，可通过命令adb shell getprop ro.build.version.release查看

deviceName ：连接的设备名称，通过命令adb devices -l中model查看

appPackage：apk的包名

appActivity：apk的launcherActivity，通过命令adb shell dumpsys activity | findstr “mResume”查看（需先打开手机应用）

注意：Android 8.1之前应使用adb shell dumpsys activity | findstr “mFocus”

其他

1.使用cmd命令查看端口号占用情况，例如查看端口 8014，可以看出进程号为10728；

netstat -ano | findstr 端口号

2.使用命令关闭

命令：

taskkill -PID 进程号 -F