容器服务与达摩院合作 AHPA 获 AAAI 2023 IAAI人工智能创新应用奖
作者：阿里云容器服务
近日，阿里云容器服务 ACK 与达摩院数据决策团队合作的论文《AHPA: Adaptive Horizontal Pod Autoscaling Systems on Alibaba Cloud Container Service for Kubernetes》获 AAAI 2023 IAAI 人工智能创新应用奖 [ 1] 。AAAI 是人工智能领域的顶级会议之一，入选中国计算机学会（CCF）推荐 A 类国际会议列表。AAAI/IAAI 主要收录人工智能在工业界成功应用的案例，备受工业界关注，每年仅有 10 项左右工作被评选为 IAAI 人工智能创新应用奖，今年 AHPA 也有幸获此殊荣。
AHPA 论文截图
团队介绍
阿里云容器服务 ACK 管理着海量的 Kubernetes 集群，在集群管理、集群运维等领域积累了丰富的经验，并构建了智能运维平台 CIS(Container Intelligence Service)，旨在通过智能化手段解决运维难题。达摩院数据决策团队在时间序列分析/预测/异常监测/AIOps 方向深耕多年 [ 2] ，数十篇文章发表在 NeurIPS, ICML, AAAI, KDD, SIGMOD, ICDE 等顶会和多篇中美专利，获得 2022 ICASSP AIOps Challenge(故障定位)冠军等多个国际奖项。
AHPA
“极致弹性”吸引着众多企业拥抱云原生。企业的业务流量往往呈现出明显的波峰、波谷形态，如果采用固定实例数的方式则会造成较大的资源浪费。为此，Kubernetes 提供了 HPA、CronHPA 等弹性伸缩策略。CronHPA 支持在固定时间进行实例数伸缩，但是设定定时规则较为复杂，也会存在资源浪费；HPA 策略根据应用实时负载设置实例数量，但是存在弹性触发滞后的问题，导致应用的服务质量下降。为此，容器服务 ACK 联合达摩院时序智能团队共同打造了 AHPA，可以根据历史时序数据进行主动预测，避免弹性滞后。同时会根据实时数据动态调整主动预测结果，兼容周期变动、数据丢失等场景。
图2 AHPA 框架
AHPA 整体架构如图 1 所示，分为数据采集、预测及弹性伸缩三大部分。AHPA 核心算法整体框架如图 2 所示，主要由指标预测及性能模型两个核心模块组成。目前 AHPA 已支持 CPU、Memory、GPU、RT、QPS 等常见指标，在阿里内外众多业务中得到应用。AHPA 算法可以帮助客户识别业务是否存在周期性。当数据存在周期性时，AHPA 对数据缺失、毛刺以及业务变更引发的数据周期变化等有很强的鲁棒性。即使数据不存在周期性，AHPA 也因具备一定的预测能力，可以提前感知数据趋势变化；对数据丢失、噪音等也有很强的鲁棒性。此外，AHPA 相关算法 RobustScaler 也被数据库领域顶级会议 ICDE2022（CCF A 类）的长文论用，详细内容请参考论文《RobustScaler: QoS-Aware Autoscaling for Complex Workloads》 [ 3] 。
图2 AHPA 算法框架图
在 ACK 集群中使用 AHPA 请参考文档 [ 4] ，欢迎大家试用并提供宝贵意见。
相关链接
[1] Zhiqiang Zhou, Chaoli Zhang, Lingna Ma, Jing Gu, Huajie Qian, Qingsong Wen, Liang Sun, Peng Li, Zhimin Tang, "AHPA: Adaptive Horizontal Pod Autoscaling Systems on Alibaba Cloud Container Service for Kubernetes", in Proc. AAAI Conference on Artificial Intelligence and 35th Annual Conference on Innovative Applications of Artificial Intelligence (AAAI/IAAI 2023) , Washington DC, Feb. 2023. (AAAI/IAAI 2023 Innovative Application Award)
[2] Qingsong Wen, Linxiao Yang, Tian Zhou, Liang Sun, "Robust Time Series Analysis and Applications: An Industrial Perspective," in the 28th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, KDD 2022 Tutorial.
https://qingsongedu.github.io/timeseries-tutorial-kdd-2022/
[3] Huajie Qian, Qingsong Wen, Liang Sun, Jing Gu, Qiulin Niu, Zhimin Tang, "RobustScaler: QoS-Aware Autoscaling for Complex Workloads," in Proc. IEEE 38th International Conference on Data Engineering (ICDE 2022), Kuala Lumpur, Malaysia, May 2022
[4] 文档
https://help.aliyun.com/document_detail/416041.html
点击此处查看阿里云容器服务 AHPA 弹性预测产品文档详情。
