一文消除大数据处理的资源浪费,实现 90% 成本降低
本文介绍如何通过 Karpenter 动态调度阿里云 Spot 实例运行 Spark 作业,实现 90%+ 成本节省。 涵盖集群搭建、Spark Operator/Karpenter 部署、Executor 弹性扩缩配置及效果验证,提供完整代码示例。 阅读时间约 10 分钟(技术细节较多,含代码及配
阅读全文
posted @ 2025-02-27 12:30
本文介绍如何通过 Karpenter 动态调度阿里云 Spot 实例运行 Spark 作业,实现 90%+ 成本节省。 涵盖集群搭建、Spark Operator/Karpenter 部署、Executor 弹性扩缩配置及效果验证,提供完整代码示例。 阅读时间约 10 分钟(技术细节较多,含代码及配
阅读全文
posted @ 2025-02-27 12:30
起初,Karpenter 是专为 AWS 环境设计的 Kubernetes 集群节点扩展工具。随着开源社区的繁荣发展,Karpenter 对阿里云和 Azure 提供了支持。 针对阿里云的支持,由 CloudPilot AI 和阿里云容器服务和弹性计算团队联合开发贡献,详情请参阅: CloudPil
阅读全文
posted @ 2025-02-26 11:09
本文由Aimably的 CEO Claire Milligan撰写,文章深刻洞察了AWS 云经济模式,深入剖析了 AWS 转售(Resale)模式的弊端,总结出以下观点。 去年,为了优化我们的云成本管理服务和成本分配软件,团队设定了一个目标:全面了解 AWS 转售行业的完整经济周期。 我们采访了许多
阅读全文
posted @ 2025-02-21 10:38
本文由 DevSecOps 专家 Tanat Lokejaroenlarb 撰写,将介绍 Adevinta 团队是如何发现隐藏的降本机会,最终通过一行代码的更改,让他们每月节省5000美元的开支。 一直以来,如何降低成本都是所有关注基础设施的平台团队反复讨论的话题,Adevinta 团队也不例外。关
阅读全文
posted @ 2025-02-19 10:58
CloudPilot AI 致力于通过提供灵活高效的集群弹性能力优化云成本。通过与阿里云容器服务和弹性计算团队的深度合作,去年11月我们为 Karpenter 开源社区贡献了阿里云 Provider,为阿里云用户带来了 Karpenter 的灵活多策略集群弹性能力。 如今,CloudPilot AI
阅读全文
posted @ 2025-02-17 15:45
目前,业界流行的两款 Kubernetes 集群自动扩缩容工具是 Kubernetes Cluster Autoscaler(CA)和 Karpenter。 CA 主要通过 Auto Scaling Groups 来运行,它假设节点组中的所有实例类型是相同的。 通常,尤其是在较大的集群中,这种方法需
阅读全文
posted @ 2025-02-14 10:33
在本教程中,我们将初步尝试在阿里云ACK上托管DeepSeek-R1模型,并使用Karpenter阿里云Provider动态扩缩GPU节点资源。 GitHub 地址: https://github.com/cloudpilot-ai/karpenter-provider-alibabacloud 通
阅读全文
posted @ 2025-02-08 14:25