k8s中排查服务外部访问延迟

Kubernetes生产环境排障指南：外部访问延迟问题深度排查

当线上服务出现外部访问延迟时，如何快速定位是网络问题还是服务本身问题？本文将从实战角度出发，提供一套完整的四层排查体系，并附真实生产案例解析。

---

一、四层排查体系架构

---

二、逐层排查实战

1. 入口层排查（Ingress/LoadBalancer）

# 查看Ingress控制器日志（以nginx-ingress为例）
kubectl logs -n ingress-nginx deploy/ingress-nginx-controller --tail=1000 | grep -E 'slow|timeout'

# 实时流量测试（注意替换真实域名）
curl -o /dev/null -s -w \
"DNS解析: %{time_namelookup}s\n建立连接: %{time_connect}s\n首字节时间: %{time_starttransfer}s\n总耗时: %{time_total}s\n" \
https://your-domain.com/api/health

关键指标：

• DNS解析时间 > 100ms → 检查DNS服务
• 建立连接时间 > 1s → 网络链路问题
• 首字节时间 > 3s → 应用处理延迟

---

2. 服务层排查（Service/Endpoints）

# 验证Service到Pod的链路
kubectl describe svc your-service | grep -E 'Endpoints|Selector'

# 模拟内部访问测试
kubectl run debug-tool --image=nicolaka/netshoot --rm -it -- \
    curl -sS http://your-service.default.svc.cluster.local:8080/api/test

常见陷阱：

• Selector标签不匹配导致Endpoints为空
• NodePort端口冲突（检查端口占用：netstat -tuln | grep <port>）

---

3. 容器层排查（Pod/Container）

# 查看容器资源限制（关注Throttled指标）
kubectl describe pod your-pod | grep -A 5 'Limits'

# 进入容器进行诊断（使用ephemeral容器）
kubectl debug -it your-pod --image=nicolaka/netshoot -- \
    apk add perf && perf record -g -p 1

关键检查点：

• CPU Throttling：调整requests/limits
• 内存OOM：检查JVM配置或内存泄漏
• 文件描述符耗尽：kubectl exec your-pod -- sh -c "ls /proc/\$(pgrep app)/fd | wc -l"

---

4. 基础设施层排查

# 检查节点网络队列（关注drop和overrun）
ethtool -S eth0 | grep -E 'dropped|overrun'

# 追踪跨节点网络路径
mtr -n -T -c 10 <目标IP地址>

典型问题：

• 网卡缓冲区溢出（调整net.core.netdev_max_backlog）
• 跨可用区访问（使用kubectl get nodes -o wide查看节点分布）

---

三、真实生产案例解析

案例1：Ingress Controller配置错误

• 现象：特定URL访问延迟达5s+
• 排查：
  1. 发现Ingress Annotation配置了错误的超时参数
  2. 调整proxy_read_timeout从5s到30s
  3. 增加keepalive_requests配置
• 修复命令：

  annotations:
    nginx.ingress.kubernetes.io/proxy-read-timeout: "30"
    nginx.ingress.kubernetes.io/keepalive-requests: "10000"
  

案例2：NodePort端口竞争

• 现象：部分节点访问延迟随机出现
• 根本原因：第三方服务占用相同NodePort
• 解决方案：

  # 查询端口占用
  ss -tuln | grep 31000
  # 修改Service配置
  spec:
    ports:
    - nodePort: 31001
  

---

四、高级诊断工具

1. 网络拓扑可视化

# 安装网络诊断工具
kubectl apply -f https://k8s.io/examples/admin/dns/dnsutils.yaml
# 执行traceroute
kubectl exec -it dnsutils -- traceroute your-service

2. eBPF深度追踪

# 安装bcc-tools
sudo apt-get install bpfcc-tools
# 追踪TCP重传
tcpretrans-bpfcc -t -p 8080

3. 分布式链路追踪

// Spring Boot示例配置
@Bean
public Sampler alwaysSampler() {
    return Sampler.ALWAYS_SAMPLE;
}

---

五、防御性设计建议

1. 容器镜像规范

   # 基础镜像必须包含诊断工具
   FROM adoptopenjdk:11-jdk-hotspot
   RUN apt-get update && apt-get install -y \
       curl \
       net-tools \
       tcpdump
   

2. 服务健康检查强化

   livenessProbe:
     httpGet:
       path: /actuator/health
       port: 8080
     initialDelaySeconds: 20
     periodSeconds: 5
     timeoutSeconds: 3
   readinessProbe:
     exec:
       command: ["sh", "-c", "curl -s http://localhost:8080/actuator/health | grep UP"]
   

3. 网络策略基线

   kind: NetworkPolicy
   spec:
     podSelector: {}
     policyTypes:
     - Ingress
     - Egress
   

---

总结：通过分层排查法，配合案例中演示的具体命令，可以系统化解决外部访问延迟问题。建议在日常运维中建立性能基线指标，当监控系统发现响应时间超过基线值时，自动触发诊断流水线，将问题消灭在萌芽阶段。