【测试】流量复制工具之TCPCopy|记录线上真实请求
原文：https://www.jianshu.com/p/e34086c47493
流量复制（记录真实 请求数据 到文件）
把线上的真实流量引流到测试环境，模拟线上用户操作，让测试机和真实的用户交互，让测试环境在正式灰度前暴露问题，增加上线信心
流量复制的常见方案
一、基于应用层的请求复制
优点：实现简单
缺点：
1. 请求复制从应用层开始，要穿过整个协议栈，容易抢占应用资源，如连接资源
2.测试跟实际应用耦合在一起，容易影响线上机器，也无法复制大量请求
3. 很难控制网络延迟
二、基于底层数据包的请求复制
无需穿透整个协议栈，可以从数据链路层或者网络层做流量复制，不走tcp层，这样对线上机器的影响就会少很多
流量复制的两种类型：
1. 实时复制 ，实时的把线上流量复制到测试机
2. 离线复制，先把流量复制下来，保存在PCAP抓包文件中，然后在测试机离线回放
使用场景：
压力测试
回归测试
线上问题重现
架构及原理：
TCPCOPY包括三个部分：
1. tcpcopy ：运行在【线上机器】，捕获线上请求
2. intercept： 运行在【辅助机器】，负责向tcpcopy发送响应信息。
3. 目标机器：被测机器
tcpcopy默认捕获网络层的包（也可以配置为捕获数据链路层的包），然后做一些必要的处理，将包发送给被测机器
tcpcopy拷贝一次流量访问的步骤如下：
① 一个客户请求到达【线上机器】；
② 拷贝IP层（或者数据链路层）的包到tcpcopy进程；
③ tcpcopy修改包的目的及源地址，发给目标测试机；
④ 拷贝的包到达目标测试机；
⑤ 目标测试机的应用处理【访问请求】，并返回结果给辅助机；
⑥ 返回结果在辅助机的数据链路层被截获，丢弃【返回结果】的body，复制【返回结果】的ip header；
⑦ 辅助机将响应header发送给线上机器的tcpcopy进程。
使用方式：
一、 实时复制流量（tcpcopy）
1. 目标机器配置路由 ，将响应包路由到辅助机
route add -net 1.1.1.0 netmask 255.255.255.0 gw 2.2.2.2
其中2.2.2.2 为辅助机， 1.1.1.0 为客户端地址
2. 辅助机捕获目标机器发来的响应包 （和抓包命令类似）
./intercept -F <filter> -i <device,>
例子：./intercept -i eth0 -F 'tcp and src port 8080' -d
捕获网卡 eth0 ，端口8080 基于tcp的包
3. 线上机器捕获包，并修改客户端地址，并把包发送给目标机器，等待辅助机发送响应包
./tcpcopy -x localServerPort-targetServerIP:targetServerPort -s <intercept server,> [-c <ip range,>]
例子：
./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -d #全流量复制
./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -r 20 -d #复制20%的流量
./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -n 2 -d #复制2倍流量
二、离线复制流量（tcpdump）
使用tcpdump抓包
tcpdump -i eth0 -w test.pcap tcp and port 80 -c 100
流量回放
./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -i test.pcap
遇到的问题：
编译intercept程序时报错 pcap.h can not found .需要安装libpcap-dev包：
apt-get install libpcap-dev
存在的问题：
1. 不支持加密协议https等 ，可以进行二次开发，但是略复杂
2. 可能会丢包：作者建议最好将三台机器部署在同一个网段，或者使用代理，可以降低丢包率
参考：
https://github.com/session-replay-tools/tcpcopy
http://www.cnblogs.com/zhengyun_ustc/p/tcpcopy.html
作者：羊yang678
链接：https://www.jianshu.com/p/e34086c47493
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
