摘要: 在昇腾Ascend 910B上运行Qwen2.5推理 使用 GPUStack 在昇腾 Ascend 910B 上运行 Qwen2.5 全系列的推理性能表现 阅读全文
posted @ 2024-11-04 13:11 Seal软件 阅读(430) 评论(0) 推荐(0) 编辑
摘要: GPUStack正式发布: 为大模型而生的开源GPU集群管理器 GPUStack 正式发布并开源,一个用于运行 LLM(大型语言模型)的开源 GPU 集群管理器。 阅读全文
posted @ 2024-07-26 16:15 Seal软件 阅读(496) 评论(2) 推荐(0) 编辑
摘要: 配置NVIDIA Container Runtime和容器运行GPUStack教程 配置 NVIDIA 容器运行时环境并使用容器方式运行 GPUStack 的操作教程 阅读全文
posted @ 2024-11-19 10:57 Seal软件 阅读(16) 评论(0) 推荐(0) 编辑
摘要: RAG三件套运行的新选择 - GPUStack 安装 GPUStack 和 Dify,并使用 Dify 来对接 GPUStack 部署的对话模型、Embedding 模型和 Reranker 模型。 阅读全文
posted @ 2024-11-12 10:02 Seal软件 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 制作并量化GGUF模型上传到HuggingFace和ModelScope 使用 llama.cpp 制作并量化 GGUF 模型,并将模型上传到 HuggingFace 和 ModelScope 模型仓库 阅读全文
posted @ 2024-11-07 11:51 Seal软件 阅读(42) 评论(0) 推荐(0) 编辑
摘要: GPUStack 0.2:开箱即用的分布式推理、CPU推理和调度策略 单机多卡分布式推理、跨主机分布式推理、CPU 推理、各种调度策略,你想要的全都有 阅读全文
posted @ 2024-09-19 10:11 Seal软件 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 建立成功平台工程的关键:自助式 IaC 了解团队部署自助式IaC的实践方法 阅读全文
posted @ 2024-04-29 09:45 Seal软件 阅读(64) 评论(0) 推荐(0) 编辑
摘要: 不谈虚的,平台即产品真的有那么好吗? 从开发者角度看PaaP,会关注哪些点? 阅读全文
posted @ 2024-04-26 09:32 Seal软件 阅读(46) 评论(0) 推荐(0) 编辑
摘要: API 开发的后盾:平台工程提供强力动态支持 平台工程通过改进开发者体验、整合、管理内部API等方式,促进API开发 阅读全文
posted @ 2024-04-24 10:19 Seal软件 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 掌控基础设施,加速 DevOps 之旅:IaC 深度解析 深入理解基础设计即代码,解析优势和最佳实践 阅读全文
posted @ 2024-04-22 09:46 Seal软件 阅读(49) 评论(0) 推荐(0) 编辑