网络协议 反扒机制 fidder 抓包工具

协议

• http 协议:

  client 端 server 端交互的 一种形式

• 请求头信息:

  • User-Agent: 情求载体的身份标识
  • connection: 'close' 连接状态 请求成功后 断开连接

• 响应头信息:

  • Content-Type:

• HTTPS 协议:

  数字证书认证机构是客户端与服务器都可信赖的第三方机构。证书的具体传播过程如下：

  1. 服务器的开发者携带公开密钥，向数字证书认证机构提出公开密钥的申请，数字证书认证机构在认清申请者的身份，审核通过以后，会对开发者申请的公开密钥做数字签名，然后分配这个已签名的公开密钥，并将密钥放在证书里面，绑定在一起
  2. 服务器将这份数字证书发送给客户端，因为客户端也认可证书机构，客户端可以通过数字证书中的数字签名来验证公钥的真伪，来确保服务器传过来的公开密钥是真实的。一般情况下，证书的数字签名是很难被伪造的，这取决于认证机构的公信力。一旦确认信息无误之后，客户端就会通过公钥对报文进行加密发送，服务器接收到以后用自己的私钥进行解密。

反扒机制

1. robots协议 君子协议
2. UA 伪装 添加请求头
3. IP请求次数过多 使用代理 ip
4. 登录验证码， 使用云打码平台 使用selenium 模拟登录
5. 数据加密， 根据加密方式判断解密方式
6. 动态数据加载 判断数据 加载方式 通过抓包获取
7. token 使用selenium 模拟登录

fidder 抓包工具

- fiddle 
	- 默认只支持 HTTP协议  需要配置 HTTPS 协议
- 点击 tools 中的 options 点击 https 
- 选中 Decrypt https traffic 安装  然后选中 下面两个按钮 确定 重启

• 基于fidder的移动端数据的抓取

- 1.让手机安装fiddler的证书
    - 需要保证手机和fiddler所在的pc机在同一网段下。
    - tools->oparation->connection->allow remote connection 。。。。
    - 需要查看当前fiddler的端口号
    - 在手机浏览器中访问ip：port访问到一张下载证书的页面，且进行证书下载
- 2.对手机中安装的证书进行信任操作
- 3.配置手机的网络环境：
    - 配置手机网络的代理ip和端口号