学习进度条93

App抓包原理

1.客户端向服务器发起HTTPS请求

 

2.抓包工具拦截客户端的请求，伪装成客户端向服务器进行请求

 

3.服务器向客户端（实际上是抓包工具）返回服务器的CA证书

 

4.抓包工具拦截服务器的响应，获取服务器证书公钥，然后自己制作一张证书，

将服务器证书替换后发送给客户端。（这一步，抓包工具拿到了服务器证书的公钥）

 

5.客户端接收到服务器（实际上是抓包工具）的证书后，生成一个对称密钥，

用抓包工具的公钥加密，发送给“服务器”（抓包工具）

 

6.抓包工具拦截客户端的响应，用自己的私钥解密对称密钥，然后用服务器证书公钥加密，

发送给服务器。（这一步，抓包工具拿到了对称密钥）

 

7.服务器用自己的私钥解密对称密钥，向客户端（抓包工具）发送响应

 

8.抓包工具拦截服务器的响应，替换成自己的证书后发送给客户端

 

爬虫的本质就是「骗」过服务器,各种反反爬手段就是增强信任的过程,不停的让服务器相信你是自己人

如果你被反爬了,就是你骗术不精,被发现了。

 

App数据好抓吗？

App数据有易有难,目前我还是停留在简单的部分,这里简单说下我理解的(如果说错求放过):

 

简单:

 

app的数据比web端数据更容易抓取，基本都是http、https协议，返回的数据格式也相对规整,

大多是json格式

 

困难:

 

1.需要反编译的知识,需要分析加密算法

 

2.需要脱壳+反编译

 

3.需要破解各式各类的签名,证书。。

 

所以一个爬虫工程师慢慢就需要掌握以下技能:

 

java编程基础

 

android编程基础

 

app逆向

 

app脱壳

 

破解加密

 

…

 

从入门到全栈，学习过程中有不懂的可以加入我的python零基础系统学习交流秋秋qun：78475，8，214，与你分享Python企业当下人才需求及怎么从零基础学习Python，和学习什么内容。相关学习视频资料、开发工具都有分享

 

常用抓包工具

fiddler

 

mitmproxy

 

Charles

 

fiddler安装和使用