摘要:
使用 GPUStack 在昇腾 Ascend 910B 上运行 Qwen2.5 全系列的推理性能表现 阅读全文
摘要:
GPUStack 正式发布并开源,一个用于运行 LLM(大型语言模型)的开源 GPU 集群管理器。 阅读全文
摘要:
配置 NVIDIA 容器运行时环境并使用容器方式运行 GPUStack 的操作教程 阅读全文
摘要:
安装 GPUStack 和 Dify,并使用 Dify 来对接 GPUStack 部署的对话模型、Embedding 模型和 Reranker 模型。 阅读全文
摘要:
使用 llama.cpp 制作并量化 GGUF 模型,并将模型上传到 HuggingFace 和 ModelScope 模型仓库 阅读全文
摘要:
单机多卡分布式推理、跨主机分布式推理、CPU 推理、各种调度策略,你想要的全都有 阅读全文
摘要:
了解团队部署自助式IaC的实践方法 阅读全文
摘要:
从开发者角度看PaaP,会关注哪些点? 阅读全文
摘要:
平台工程通过改进开发者体验、整合、管理内部API等方式,促进API开发 阅读全文
摘要:
深入理解基础设计即代码,解析优势和最佳实践 阅读全文