网络基础及抓包方法汇总
网络基础
常见网络模型与常见协议
网络架构图
互联网通讯协议架构
TCP / UDP
- TCP：面向连接、错误重传、拥塞控制、适用于可靠性高的场景
- UDP：不需要提前建立连接，实现简单，适用于实时性高的场景
Restful 软件架构风格
借助于 http 协议的基本请求方法代表资源的状态切换
- get：获取资源
- post：新增或更新资源
- put：更新资源
- delete：删除资源
RPC 协议
Remote Procedure Call，以本地调用的方式实现远程执行
- Dubbo（阿里）
- java 上高性能 RPC 协议，Apache 开源项目，由阿里捐赠
- 底层应用层协议支持 dubbo 缺省 tcp 协议、http、hessian、thrift、grpc 等
- Dubbo 接口本质上也是属于 TCP/IP 技术栈
- gRPC（Google）
- 高性能通用 RPC 框架，基于 Protocol Buffers（Google）
- PB 是一个语言中立、平台中立的数据序列化框架，谷歌开源项目
- Thrift（Facebook）
- 与 gRPC 类似的多语言 RPC 框架，Apache 开源项目
协议分析工具
- 网络监听（偏向于网络层）
- TcpDump（命令行） + WireShark
- 代理 Proxy（代理应用层协议分析）
- Charles（全平台）、安全测试 burpsuite（全平台 java）
- mitmproxy（自动化测试 python）
- fiddelr（windows）、AnyProxy（全平台）
- 协议客户端工具（主动发起请求）
- curl（命令行）
- postman（Chrome 插件&客户端 全平台）
网络监听
使用场景：用 tcpdump 抓包保存以后，使用 wireshark 界面工具分析。
tcpdump
$ sudo tcpdump -Al host www.baidu.com
- 参数
- -x 十六进制展示
- -w file 保存文件
- 表达式
- ip tcp 协议
- host 主机名
- port 80 端口号
- src（来源）& dst（目的地） 过滤
- and or () 逻辑表达式
wireshark
示例：请求百度后， TCP 连接建立过程
$ sudo tcpdump host www.baidu.com -w /tmp/tcpdump.log
# 需要输入电脑密码，开启新窗口发送请求
$ curl http://www.baidu.com
# 停止 tcpdump
# 启动 wireshark，点击文件夹图标，打开 tcpdump.log
三次握手与四次挥手
使用 chrome 开发者工具分析网络请求
- Elements：抓取页面元素，做自动化测试经常使用
- Console：控制台，可以在页面上与 JavaScript 交互
- Sources：源代码面板，可以设置断点调试 JavaScript
- Network：网络面板，用于 web 抓包，记录了每条网络操作的相关信息
- Performance：录制页面性能数据
- Memory：排查代码内存分配问题
- Application：应用面板，使用资源面板检查加载的所有资源，包括 IndexedDB 与 Web SQL 数据库，本地和会话存储，cookie，应用程序缓存，图像，字体和样式表
- Security：安全面板，用于调试混合内容、证书等问题
- Lighthouse：用于提高网页质量，能够针对性能、可访问性、渐进式 Web 应用等进行审核
下图为 network 面板的功能注解。
curl 常见用法
# get
$ curl $url | jq
# post
$ curl -d '$body' $url
# proxy 代理网络请求
$ curl -x 'http://localhost:8080' $url
- -H：消息头设置
- -u：username:password 用户认证
- -d：要发送的 post 数据，@file 表示来自于文件
- --data-urlencode 'page_size=50'：对内容进行编码
- -G：把 data 数据当成 get 请求的参数发送，常与 --data-urlencode 结合使用
- -o：写文件，用于下载
- -x：代理 http、socks5
- -v：verbose 打印更详细的日志
- -s：关闭一些提示输出
通过 jq 可以格式化 json 的输出内容，更加优雅。
Charles
- 过滤请求：Proxy - Recording Settings
- 弱网设置：Proxy - Throttle Settings
- 断点请求：Proxy - Breakpoint Settings
- 映射请求：Tools - Map Remote&Local
- 重写请求：Tools - Rewrite
mitmproxy
演示：当请求百度域名的时候，会自动打印信息。
import mitmproxy.http
from mitmproxy.tools.main import mitmdump
class Events:
def request(self, flow: mitmproxy.http.HTTPFlow):
"""
The full HTTP request has been read.
"""
flow_url = flow.request.url
if "baidu" in flow_url:
# 还可以做其他操作，比如修改搜索词 等
print(f"{'-'*10} 哈哈哈 {'-'*10}")
addons = [
Events()
]
if __name__ == '__main__':
# 使用 debug 模式启动 mitmdump
# 端口需要使用字符串
mitmdump(['-p', '8080', '-s', __file__])
不仅可以代理请求，最重要的是可以自定义脚本进行二次开发，实现很多代理工具做不到的事情。
