如何基于容器网络流量指标进行弹性伸缩
本文分享自华为云社区《【自定义指标HPA】基于容器网络流量指标进行弹性伸缩》,作者: 可以交个朋友。
一、背景
业务程序非CPU、memeory敏感类业务,希望可以基于流量指标进行HPA弹性伸缩,但是大部分程序并没有集成Prometheus SDK相关代码进行插桩。此时可以通过cAdvisor提供的容器网络流量指标实现业务峰谷期间的弹性扩缩容。
二、方案介绍
cAdvisor负责节点上的容器和节点本身资源的统计,内置在kubelet中,并通过kubelet的/metrics/cadvisor
接口对外提供API。它可以采集容器网络累积接收数据总量
和容器网络累积传输数据总量
,即网络流入和流出指标。
参考指标:
container_network_receive_bytes_total
容器接受的网络流量,单位是字节数

container_network_transmit_bytes_total
容器传输的网络流量,单位是字节数

上面两个指标都是counter
计数器类型,对应的值只增不减。在配置自定义指标转换规则时需要做下速率换算,将总量换算成每秒接受多少字节数的流量指标。
三、实践操作
3.1 安装Prometheus相关插件
建议使用华为云CCE产品,插件市场集成了kube-prometheus-stack,同时该插件也已经对接了CCE集群节点实现了节点cadvisor的指标监控。
插件安装完成后,可以通过访问prometheus UI查看指标信息:
3.2 配置Prometheus-adapter指标转换规则
kubectl -n monitoring edit configmap user-adapter-config

- seriesQuery: 'container_network_receive_bytes_total{namespace!="",pod!=""}' seriesFilters: [] resources: overrides: namespace: resource: namespace pod: resource: pod name: matches: container_(.*)_total as: "pod_${1}_per_second" metricsQuery: sum(rate(<<.Series>>{<<.LabelMatchers>>}[3m])) by (<<.GroupBy>>)/1000 - seriesQuery: 'container_network_transmit_bytes_total{namespace!="",pod!=""}' seriesFilters: [] resources: overrides: namespace: resource: namespace pod: resource: pod name: matches: container_(.*)_total as: "pod_${1}_per_second" metricsQuery: sum(rate(<<.Series>>{<<.LabelMatchers>>}[3m])) by (<<.GroupBy>>)/1000
注意: 修改后需要重启monitoring命名空间下的custom-metrics-apiserver
负载实例。
其中metricsQuery: sum(rate(<<.Series>>{<<.LabelMatchers>>}[3m])) by (<<.GroupBy>>)/1000
配置表示 最近3min内pod每秒接受的请求量,由于container_network_receive_bytes_total
和container_network_transmit_bytes_total
是counter类型的指标,指标数值会一直递增,所以需要将指标做下速率换算。 除以/1000 则表示以kb为单位,默认单位是字节数,查出来的值会很大,该处可以根据实际情况进行配置。
resources
处配置则是将Prometheus中查询的指标和K8s集群中的资源进行匹配映射。
name
处配置则是将Prometheus查询出来的指标,进行重命名处理,增强指标可读性。
3.3 验证自定义弹性指标是否可用
调用接口访问自定义指标:
kubectl get --raw="/apis/custom.metrics.k8s.io/v1beta1/namespaces/default/pods/*/pod_network_receive_bytes_per_second" |jq
可以看到对应的指标和其返回的值。

也可以在CCE控制台进行自定义指标的查看,发现该指标已经可用:
3.4 测试HPA弹性功能
主要是观测能否根据该指标,即容器每秒接受的网络流量指标进行动态阔缩容。
编写HPA yaml文件,创建HPA弹性伸缩策略
apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: hpa-app07 namespace: default spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: app07 minReplicas: 1 maxReplicas: 10 metrics: - type: Pods pods: metric: name: pod_network_receive_bytes_per_second target: type: AverageValue averageValue: 10
然后通过执行命令 while true; do curl clusterIP:port;done
进行压测,创造访问流量。
观测HPA实时动态kubectl get hpa xxx -w
可以看到随着流量指标数值的攀升,pod实例逐步开始扩容。直到扩容到实例上限。

停止压测观察HPA缩容变化,直到最后只剩下一个pod在运行。

四、补充
如何在CCE测查看负载实例的网络流量指标信息
负载级别网络流量指标展示:
Pod实例级别网络流量指标展示:
也可前往云原生观测-监控中心-仪表盘-选择Pod视图查看流量指标信息:
对比上述配置的自定义指标计算方式求的值基本吻合
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 【.NET】调用本地 Deepseek 模型
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 我与微信审核的“相爱相杀”看个人小程序副业
2023-03-06 云图说 | 第268期 初识开天企业工作台MSSE
2023-03-06 详解Docker容器运行GUI程序的方法
2023-03-06 sequence:从认识到会使用,今儿给你讲的透透的
2023-03-06 高并发场景下,如何优化服务器的性能