11 2024 档案

摘要:本文主要分享如何使用 vLLM 实现大模型推理服务。 1. 概述 大模型推理有多种方式比如 最基础的 HuggingFace Transformers TGI vLLM Triton + TensorRT-LLM ... 其中,热度最高的应该就是 vLLM,性能好的同时使用也非常简单,本文就分享一下 阅读全文
posted @ 2024-11-21 14:29 探索云原生 阅读(916) 评论(0) 推荐(0) 编辑
摘要:本文主要分享如何使用 GPU Operator 快速搭建 Kubernetes GPU 环境。 1. 概述 上一篇文章 GPU 使用指南:如何在裸机、Docker、K8s 等环境中使用 GPU 分享了裸机、Docker 环境以及 K8s 环境中如何使用 GPU。 整个流程还算比较简单,但是因为需要在 阅读全文
posted @ 2024-11-14 12:50 探索云原生 阅读(466) 评论(0) 推荐(0) 编辑
摘要:本文主要分享在不同环境,例如裸机、Docker 和 Kubernetes 等环境中如何使用 GPU。 跳转阅读原文:GPU 环境搭建指南:如何在裸机、Docker、K8s 等环境中使用 GPU 1. 概述 仅以比较常见的 NVIDIA GPU 举例,系统为 Linux,对于其他厂家的 GPU 设备理 阅读全文
posted @ 2024-11-07 08:45 探索云原生 阅读(1293) 评论(0) 推荐(0) 编辑