cloudpilot-ai

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

统计

劲省85%云成本!在K8s上使用Karpenter私有部署DeepSeek-R1

在本教程中,我们将初步尝试在阿里云ACK上托管DeepSeek-R1模型,并使用Karpenter阿里云Provider动态扩缩GPU节点资源。

GitHub 地址:

https://github.com/cloudpilot-ai/karpenter-provider-alibabacloud

通过Karpenter的自动化调度能力,我们可以根据需求灵活调整计算资源(如竞价实例),确保模型推理高效运行,同时优化成本。

为什么在K8s上私有化部署DeepSeek-R1模型

在阿里云 ACK 上部署 DeepSeek 模型,主要有以下几个关键优势:

首先,许多大企业在部署AI模型时,通常有数据私有化的要求,特别是涉及敏感数据或关键业务时。

其次,Kubernetes提供了灵活的底层计算资源管理能力,企业可以根据自身需求进行资源调度、分配和优化。通过阿里云ACK集群,企业能够精细化管理计算资源,并进行自定义配置,以确保模型训练和推理任务能够在最适合的GPU资源上高效运行。

此外,本地部署还能够有效避免频繁的宕机和服务不可用问题(如下图),保障系统的高可用性。同时,不受敏感词等外部限制,增强了灵活性和自主性。

创建ACK集群

本文使用Terraform快速创建ACK,使用的区域为ap-northeast-2(首尔)。

详细创建步骤请查看:

https://github.com/cloudpilot-ai/examples/tree/main/clusters/ack-spot-flannel

安装Karpenter

参考官方安装文档安装Karpenter (仅需完成前5步即可)

https://docs.cloudpilot.ai/karpenter/alibabacloud/v0.1/getting-started/set-up-a-cluster-and-add-karpenter

同时,部署如下NodePool和NodeClass,定义弹性GPU节点的配置:

# nodepool.yaml
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
name: ecsnodepool
spec:
disruption:
budgets:
- nodes: 95%
consolidationPolicy: WhenEmptyOrUnderutilized
consolidateAfter: 1m
template:
spec:
requirements:
- key: node.kubernetes.io/instance-type
operator: In
values:
- "ecs.gn7i-c8g1.2xlarge"
- "ecs.gn7i-c16g1.4xlarge"
- "ecs.gn7i-2x.8xlarge"
- "ecs.gn7i-4x.8xlarge"
- "ecs.gn7i-c32g1.8xlarge"
- "ecs.gn7i-c48g1.12xlarge"
- "ecs.gn7i-c56g1.14xlarge"
- "ecs.gn7i-c32g1.16xlarge"
- "ecs.gn7i-c32g1.32xlarge"
- key: kubernetes.io/arch
operator: In
values: [ "amd64" ]
- key: kubernetes.io/os
operator: In
values: ["linux"]
- key: karpenter.sh/capacity-type
operator: In
values: ["spot"]
nodeClassRef:
group: "karpenter.k8s.alibabacloud"
kind: ECSNodeClass
name: defaultnodeclass
---
# nodeclass.yaml
apiVersion: karpenter.k8s.alibabacloud/v1alpha1
kind: ECSNodeClass
metadata:
name: defaultnodeclass
spec:
systemDisk:
size: 300
categories:
- cloud
- cloud_ssd
- cloud_efficiency
- cloud_essd
- cloud_auto
- cloud_essd_entry
vSwitchSelectorTerms:
- tags:
karpenter.sh/discovery: "deepseek" # replace with your cluster name
securityGroupSelectorTerms:
- tags:
karpenter.sh/discovery: "deepseek" # replace with your cluster name
imageSelectorTerms:
# ContainerOS only support x86_64 linux nodes, and it's faster to initialize
- alias: AlibabaCloudLinux3
  • nodepool中的node.kubernetes.io/instance-type定义候选的节点类型,这里使用A10GPU。

  • 使用karpenter.sh/capacity-type将节点计费类型设置为Spot,相比按需计费可节省85%,甚至低于包年费用(375,853.84元) 。未来结合 HPA 的自动扩缩容策略,预计还能降低更多成本。

数据来源:spot.cloudpilot.ai
数据来源:spot.cloudpilot.ai

NOTE: 查询计费数据详情,请访问:https://spot.cloudpilot.ai/alibabacloud?instance=ecs.gn7i-c32g1.32xlarge#region=ap-northeast-2

安装好Karpenter后,运行如下命令即可:

kubectl apply -f nodepool.yaml          
kubectl apply -f nodeclass.yaml

检查nodepool status,READY为True即可:

NAME          NODECLASS          NODES   READY   AGE
ecsnodepool   defaultnodeclass   1       True    3h10m

在业务流量高峰期,系统可充分利用 GPU 资源以满足计算需求,而在请求低谷时,闲置的资源仍在运行则会造成不必要的成本浪费。

假设1天内仅有8小时处于流量高峰,那么通过采用弹性策略,用户可以根据实际负载动态调整资源,在处于低负载的16小时中自动缩容 Pod 至 0,释放空闲的 GPU 资源,至少可以减少 60% 云成本。

部署DeepSeek-R1模型

1.创建YAML文件

创建deepseek.yaml,内容如下,也可以将 deepseek-ai/DeepSeek-R1-Distill-Qwen-32B 修改为任意你想要的其他模型:

apiVersion: v1
kind: Namespace
metadata:
  name: deepseek
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: deepseek-deployment
  namespace: deepseek
  labels:
    app: deepseek
spec:
  replicas: 1
  selector:
    matchLabels:
      app: deepseek
  template:
    metadata:
      labels:
        app: deepseek
    spec:
      tolerations:
        - key: "nvidia.com/gpu"
          operator: "Exists"
          effect: "NoSchedule"
      volumes:
      - name: cache-volume
        hostPath:
          path: /tmp/deepseek
          type: DirectoryOrCreate
      # vLLM needs to access the host's shared memory for tensor parallel inference.
      - name: shm
        emptyDir:
          medium: Memory
          sizeLimit: "2Gi"
      containers:
      - name: deepseek
        image: cloudpilotai-registry.cn-hangzhou.cr.aliyuncs.com/cloudpilotai/vllm-openai:latest
        command: ["/bin/sh""-c"]
        args: [
          "vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --max_model_len 2048 --tensor-parallel-size 4"
        ]
        env:
        # - name: HF_ENDPOINT
        #   value: https://hf-mirror.com
        - name: HF_HUB_ENABLE_HF_TRANSFER
          value: "0"
        # - name: VLLM_USE_MODELSCOPE
        #   value: "True"
        ports:
        - containerPort: 8000
        resources:
          requests:
            nvidia.com/gpu: "4"
          limits:
            nvidia.com/gpu: "4"
        volumeMounts:
        - mountPath: /root/.cache/huggingface
          name: cache-volume
        - name: shm
          mountPath: /dev/shm
---
apiVersion: v1
kind: Service
metadata:
  name: deepseek-svc
  namespace: deepseek
spec:
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 8000
  # The label selector should match the deployment labels & it is useful for prefix caching feature
  selector:
    app: deepseek
  type: ClusterIP

其中--tensor-parallel-size 4表示使用单机4卡GPU并行推理(也可以改为单卡,速度会慢一点)。

此处附上不同参数模型对显卡和显存的要求,大家可以根据要求选择合适GPU计算资源:

2.部署YAML

运行如下命令,部署业务:

kubectl apply -f deepseek.yaml

此时,Karpenter会根据要求的4卡GPU,创建4卡的Spot单节点(4卡并行,提升Token响应速度):

$ kubectl get nodeclaim -A
NAME                TYPE                      CAPACITY   ZONE              NODE                          READY   AGE
ecsnodepool-knc9p   ecs.gn7i-c32g1.32xlarge   spot       ap-northeast-1c   ap-northeast-1.172.16.2.174   True    136m

等待一段时间后,查看相关Pod日志,显示如下内容即Ready:

...
INFO 02-05 05:16:52 launcher.py:27] Route: /invocations, Methods: POST
INFO:     Started server process [7]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
...

3.使用UI聊天交互

首先运行如下命令,将服务在本地暴露:

kubectl port-forward svc/deepseek-svc -n deepseek 8080:80

然后,访问网页:https://app.nextchat.dev/

点击左下角配置:

依次选择和输入:

  • OpenAI
  • http://localhost:8080
  • deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
  • deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

最后,通过聊天窗口即可使用 DeepSeek-R1模型:

体验A10 4卡,响应速度还是很快的!

结论

经过初步体验,在Kubernetes环境下结合Karpenter,能够快速启动LLM所需的GPU节点资源。此教程仅为初步体验,要实现生产级别的安装和部署,还需要结合一些解决方案,克服以下几个问题:

  • 镜像加速 : 避免长时间无法拉取镜像,如使用Dragonfly等。
  • 模型文件加载加速:防止模型文件下载时间过长。
  • 超大模型支持:通常超大模型需要多个节点才能运行,需要通过vLLM进行多节点多GPU推理的配置。
  • 弹性扩缩容 :根据请求量动态调整Pod数量,以应对请求波动;在长时间无请求时,将Pod缩容至0,并释放空闲的GPU资源,进一步节省成本。

接下来,我们将继续deep seek,为大家呈现完整的DeepSeek-R1全量模型生产环境部署(大概率使用KServe+Karpenter),以及弹性方案!

推荐阅读

15条 Karpenter 最佳实践,轻松掌握弹性伸缩

服务600+客户的3D生成AIGC公司如何实现GPU成本降低70%?

全球最大分类广告商的Karpenter实践:减负运维、减少中断、每月省21万(上)

posted on   CloudPilotAI  阅读(250)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体
点击右上角即可分享
微信分享提示