华为云CCE Turbo：基于eBPF的用户自定义多粒度网络监控能力

本文分享自华为云社区《华为云CCE Turbo：基于eBPF的用户自定义多粒度网络监控能力》，作者：云容器大未来。

基于eBPF的容器监控的兴起

容器具有极致弹性、标准运行时、易于部署等优点，越来越多的客户选择使用容器来部署自己的服务，随着容器规模越来越大，容器间网络交互也越来越复杂。我们需要一套完整的监控系统，让用户和运维团队可以更清晰的观测容器网络的运行情况。

基本的容器网络监控，和虚机的监控类似，只能监控每个pod的网络流量、丢包等基本信息，监控的方式就是通过pod内网卡上的统计信息获取监控结果。这种监控看到的信息有限，无法满足对容器网络深入观测的目标。

比如用户想看一下容器网络中都有哪些连接？哪些容器之间的访问比较频繁？他们的时延是多少？qps大不大？网络质量怎么样？这些监控数据使用普通的监控手段无法获取。如果将用户的网络报文都镜像分析，会消耗大量的内存和cpu资源。eBPF技术为我们提供了一种新的监控手段，让我们实现上述监控能力成为可能。

eBPF是一种能够在内核运行沙箱程序的技术，可以通过在内核的不同位置注入监控代码，灵活的实现各种监控能力，安全、高性能，并且对内核和用户业务没有任何修改侵入，非常适合在容器监控领域使用。

当前已经有丰富的eBPF监控软件，比如BCC、DeepFlow、Pixie等，可以给用户提供多种维度的监控能力。

华为云云容器引擎CCE Turbo容器服务，提供了基于eBPF技术的dolphin插件(即"CCE容器网络扩展指标"插件)，实现多维度、多粒度的容器监控能力，大大增强了容器网络的可观测能力。

dolphin基于eBPF的监控能力构建

dolphin插件使用eBPF技术并基于K8s框架设计，提供了容器网络多维度(pod、flow、自定义)监控和故障快速诊断能力，让客户可以更深入的观测K8s集群网络的运行情况，协助运维人员提前预防和快速定位故障。设计框架如下图所示：

dolphin支持运行在CCE Turbo集群，通过daemonset部署在K8s node上，使用CRD管理监控任务，监控结果为telemetry exporter格式，支持普罗主动拉取监控结果。

CRD定义如下：

apiVersion: crd.dolphin.io/v1
kind: MonitorPolicy
metadata:
  name: example-task            #监控任务名
  namespace: kube-system        #必填，namespace必须为kube-system
spec:
  selector:                     #选填，配置dolphin插件监控的后端，形如labelSelector格式，默认将监控本节点所有容器
    matchLabels:
      app: nginx
    matchExpressions:
      - key: app
        operator: In
        values:
          - nginx
  podLabel: [app]               #选填，用户标签
  healthCheck:                  #选填，本地节点 Pod 健康检查任务中最近一次健康检查是否健康、健康检查总健康&不健康次数这三个指标开关，默认不开
    enable: true                # true false
    failureThreshold: 3         #选填，健康检查不健康判定失败次数，默认1次健康检查失败即判定不健康
    periodSeconds: 5            #选填，健康检查任务检查间隔时间，单位秒，默认60
    command: ""                 #选填，健康检查任务检查命令，支持：ping、arping、curl，默认 ping
    ipFamilies: [""]            #选填，健康检查IP地址族，支持：ipv4，默认ipv4
    port: 80                    #选填，使用curl时必选，端口号
    path: ""                    #选填，使用curl时必选，http api 路径   
  monitor:     
      ip:       
      ipReceive:         
        aggregateType: flow       #选填，支持填写"pod"或"flow"，分别表示pod粒度监控或流粒度监控       
      ipSend:         
        aggregateType: flow       #选填，支持填写"pod"或"flow"，分别表示pod粒度监控或流粒度监控     
      tcp:       
        tcpReceive:         
           aggregateType: flow       #选填，支持填写"pod"或"flow"，分别表示pod粒度监控或流粒度监控       
        tcpSend:         
           aggregateType: flow       #选填，支持填写"pod"或"flow"，分别表示pod粒度监控或流粒度监控       
        tcpRetrans:         
           aggregateType: flow       #选填，支持填写"pod"或"flow"，分别表示pod粒度监控或流粒度监控      
        tcpRtt:         
           aggregateType: flow       #选填，支持填写"flow"，表示流粒度监控，单位：微秒       
        tcpNewConnection:         
           aggregateType: pod        #选填，支持填写"pod"，表示pod粒度监控

从CRD的定义可以看到，dolphin主要有如下能力：

用户自定义监控项。用户通过CR自选监控项，dolphin根据用户选择的监控项动态注入eBPF程序，不需要的内容不监控，最大程度减少对CPU、memory等资源的消耗。
用户自定义监控粒度。用户根据不同的监控诉求，可以选择pod或flow的监控粒度，dolphin根据不同的监控粒度注入不同的eBPF程序，既满足了用户的监控诉求，也尽量降低资源的销毁。pod粒度监控会按pod粒度聚合监控数据，用户通过pod粒度监控可以观测容器层面的网络运行情况。flow粒度监控会按pod内不同流聚合监控数据，用户通过flow粒度监控可以观测容器内不同流的网络运行情况，进一步感知不同pod之间的通信情况。
多任务并发。每个CR对应一个监控任务，可以多个任务并发监控，互不影响。用户可以根据需要定义多个监控任务进行不同层次、不同服务的监控。
selector选择监控范围。CR中的selector为标准的K8s pod label selector，用户可以通过selector选择需要监控的一组pod，灵活的定义监控范围。dolphin会根据用户定义的监控范围只监控选中的pod，大大降低资源消耗和监控结果输出。监控结果携带用户指定pod label。用户通过监控结果进行数据分析时，常常会用到pod上的label信息进行数据筛选、数据聚合、数据关联等动作，用户可以通过podLabel字段指定监控结果携带哪些pod上的label，dolphin输出监控结果时，会根据用户指定的label key获取pod的上的label value，并将label KV随监控结果输出，满足用户数据处理的诉求。
丰富的IP层和TCP层监控能力，vpc网络的健康检查能力。

具体的监控能力和使用方式，请参考华为云CCE容器网络扩展指标：

https://support.huaweicloud.com/usermanual-cce/cce_10_0371.html

示例

某应用是用户的重点应用，此应用通过deployment app1部署在华为云CCE Turbo上，用户想知道这个应用的qps情况，网络质量有没有问题，都有哪些client在访问这个服务，整体网络流量情况是怎样的？这时候用户可以安装dolphin插件来实现了。

在CCE集群console界面，点击"插件中心"，搜索“CCE 容器网络扩展指标”找到dolphin插件，点击“安装”，就完成了插件安装。

编写如下配置，并保存成app1.yaml

apiVersion: crd.dolphin.io/v1
kind: MonitorPolicy
metadata:
  name: app1
  namespace: kube-system
spec:
  selector:
    matchLabels:
      app: app1   
    monitor:     
     ip:       
        ipReceive:         
          aggregateType: pod       
        ipSend:         
          aggregateType: pod     
        tcp:       
           tcpRetrans:         
              aggregateType: flow       
           tcpRtt:         
              aggregateType: flow       
           tcpNewConnection:         
              aggregateType: pod

然后通过“kubectl apply -f app1.yaml”将配置使能，监控配置就完成了。通过prometheus可以轻松查看监控结果。

通过新建连接的统计信息轻松计算qps值。