11 2024 档案

摘要:配置NVIDIA Container Runtime和容器运行GPUStack教程配置 NVIDIA 容器运行时环境并使用容器方式运行 GPUStack 的操作教程 阅读全文
posted @ 2024-11-19 10:57 Seal软件 阅读(330) 评论(0) 推荐(0) 编辑
摘要:RAG三件套运行的新选择 - GPUStack安装 GPUStack 和 Dify,并使用 Dify 来对接 GPUStack 部署的对话模型、Embedding 模型和 Reranker 模型。 阅读全文
posted @ 2024-11-12 10:02 Seal软件 阅读(334) 评论(0) 推荐(0) 编辑
摘要:制作并量化GGUF模型上传到HuggingFace和ModelScope使用 llama.cpp 制作并量化 GGUF 模型,并将模型上传到 HuggingFace 和 ModelScope 模型仓库 阅读全文
posted @ 2024-11-07 11:51 Seal软件 阅读(280) 评论(0) 推荐(0) 编辑
摘要:在昇腾Ascend 910B上运行Qwen2.5推理使用 GPUStack 在昇腾 Ascend 910B 上运行 Qwen2.5 全系列的推理性能表现 阅读全文
posted @ 2024-11-04 13:11 Seal软件 阅读(1644) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示