描述
随着容器化技术的普及，越来越多的应用部署在容器中，有时在正式环境中我们可能需要对容器进行抓包，以了解其网络通信情况及其排除通信异常的原因。
此处，由于程序是在运行在Kubernetes的Pod容器中，而且承载业务的容器往往没有安装tcpdump等相关数据包抓取命令，所以常常对Pod抓包而感到苦恼。
为了解决这个问题，我们可以通过以下几种方式针对Kubernetes中的Pod容器进行抓包。
1.在pod容器内抓包
这是我们初学者最先想到的办法，当然也最简单的一种方式，在Pod容器中安装tcpdump命令，然后直接使用tcpdump命令进行抓包。
但是由于Pod容器中往往没有安装tcpdump命令，通过安装tcpdump的方式增加了镜像大小，且在无外网连接的情况下也就无法在线安装。
# 1.安装 tcpdump
# Alpine 镜像
kubectl exec ${POD_NAME} -- apk add tcpdump
# CentOS 镜像
kubectl exec ${POD_NAME} -- yum install tcpdump -y
# Ubuntu 镜像
kubectl exec ${POD_NAME} -- dnf install tcpdump -y
# 2.抓包并使用 wireshark 进行分析
kubectl exec ${POD_NAME} -- tcpdump -i eth0 -w - | wireshark -k -i -
2.在节点主机上抓包
这种方式是我们在实际生产环境中经常使用的，通过找到Pod容器所运行工作节点主机（Node）的，通过嗅探在Pod所在的节点上网络接口索引进行抓包，然后通过wireshark工具进行分析。
- 1.定位Pod的containerID以及它所运行的宿主机IP。
# 1.kubectl get --all-namespaces -o wide pods | grep ${POD_NAME}
# 或者
# 2.kubectl get pod -n ${NAMESPACE} ${POD_NAME} -o json | jq '.status | {hostIP: .hostIP, container: [.containerStatuses[] | {name: .name, containerID: .containerID}]}'
{
"hostIP": "10.10.66.203",
"container": [
{
"name": "app",
"containerID": "docker://808605e67373b6d97dfb4bf67745e8cd0f5062978385707c91e42d1c37bfba57"
}
]
}
- 2.登录到运行此Pod容器的宿主机（10.103.236.203）查找容器中的网卡与宿主机的veth网卡之间的对应关系，及其网络接口信息。
# PodName=Gateway-756894b7d7-2qvzj
# kubectl exec -it ${PodName} -- /bin/sh -c "cat /sys/class/net/eth0/iflink"
# 16
# ip link |grep 16
16: cali3002ec233ba@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1480 qdisc noqueue state UP mode DEFAULT group default
- 3.确定好容器中的网卡与宿主机的veth网卡cali3002ec233ba@if6 关系后，就可以通过tcpdump命令进行抓包了。
tcpdump -i cali3002ec233ba@if6 -w /tmp/Gateway-756894b7d7-2qvzj.pcap
3.使用nsenter命令抓包
通过nsenter命令是一个可以在指定进程的命令空间下运行指定程序的命令，使用它我们可以在Pod容器中直接使用tcpdump命令进行抓包。
- 1.找到Pod容器所在宿主机，及其Pid信息。
# 找到Pod调度的工作节点
podName=fzxt-backend-admin-64c89dd789-bvggq
kubectl get pods -A -o wide | grep ${PodName}
prod fzxt-backend-admin-64c89dd789-bvggq 1/1 Running 0 28d 172.19.1.88 weiyigeek-214 <none> <none>
# 登录节点上执行如下命令：
# containerd
crictl inspect `(crictl ps --name ${PodName} | cut -d " " -f 1 | grep -v CONTAINE)` | grep "pid"
"pid": 46241,
"pid": 1
"type": "pid"
# docker
docker inspect 3002ec233ba | grep Pid
"Pid": 8105,
"PidMode": "",
"PidsLimit": null,
- 2.在承载此Pod容器的工作节点上，安装nsenter命令。
# 软件包管理工具安装
yum install util-linux -y
# 源码安装
# 下载
wget https://www.kernel.org/pub/linux/utils/util-linux/v2.40/util-linux-2.40.tar.gz
# 解压
tar zxvf util-linux-2.40.tar.gz && cd util-linux-2.40
# 编译
./configure --without-ncurses && make
cp nsenter /usr/bin/
- 3.使用nsenter命令进入Pod容器的命名空间，然后使用tcpdump进行抓包。
# 进入到pod命名空间
nsenter -t 8105 -n
# 使用tcpdump进行抓包
tcpdump -nnnvv -As 0 -i eth0 port 80 -w fzxt-backend-admin.pcap
# 参数解释：
-nnn：
第一个n表示不将网络地址转换为名称。这意味着tcpdump会显示IP地址而不是尝试将它们解析为主机名。
第二个n也是同样的作用，但有些版本的tcpdump可能不支持重复使用-n选项。在这种情况下，第二个n可能会被忽略。
第三个n（如果支持）通常表示不将端口号转换为服务名称，即显示端口号的数字而不是服务名称。
-vv：
第一个v表示详细输出。这会提供更多的信息，比如数据包的头部信息。
第二个v表示更详细的输出。这会提供比单个-v更详细的信息。
-A：
表示以ASCII格式打印每个数据包的内容，方便阅读文本数据。
-s 0：
-s选项后跟一个数值，表示从每个捕获的数据包中截取的字节数。0表示不截取，即捕获每个数据包的全部。
4.使用ksniff插件抓包
描述：ksniff是一个kubectl的插件，它利用tcpdump和Wireshark对Kubernetes集群中的任何Pod启动远程抓包。
- 1.安装krew命令及sniff插件
# 安装krew
(
set -x; cd"$(mktemp -d)" &&
curl -fsSLO "https://github.com/kubernetes-sigs/krew/releases/latest/download/krew.tar.gz" &&
tar zxvf krew.tar.gz &&
KREW=./krew-"$(uname | tr '[:upper:]' '[:lower:]')_$(uname -m | sed -e 's/x86_64/amd64/' -e 's/arm.*$/arm/')" &&
"$KREW" install krew
)
export PATH="${KREW_ROOT:-$HOME/.krew}/bin:$PATH"
# 安装sniff
kubectl krew install sniff
Updated the local copy of plugin index.
Installing plugin: sniff
W0710 17:54:14.755671 84252 install.go:160] Skipping plugin "sniff", it is already installed
- 2.使用sniff插件抓包，实际上是映射本地的/tmp/static-tcpdump文件到Pod中运行。
通常情况下服务器节点没有安装wireshark，你可以将报文输出到文件中，然后用本地Windows系统中的wireshark工具来解析报文。
kubectl sniff fzxt-backend-admin-64c89dd789-bvggq -n prod -o fzxt-backend-admin.pcap
