移动端爬取数据的流程

移动端爬取数据的流程

1.基于一款抓包工具

fiddler(使用)

青花瓷

miteproxy

2.对fiddler进行配置

允许远程移动端进行连接

tools->options->connection->allow remote ...

允许抓取https请求，安装证书

3.证书下载

PC端：http://fillder所在pc机的ip:58083/:访问到一张提供了证书下载功能的页面

手机端：fiddler所在的机器和手机在同一网段下:

在手机浏览器中访问http://fillder所在pc机的ip:58083/获取子页面进行证书的下载和安装(证书信任的操作)

4.手机代理配置

配置你的手机的代理:将手机的代理配置成fiddler所对应pc机的ip和fillder自己的端口

此时就可以让fiddler捕获手机发起的http和https的请求