2025年2月12日
ollama部署deepseek, 多显卡负载均衡
摘要： ollama部署不再过多描述, 我这有两张4090显卡, ollama run之后查看显卡资源只有一张再用, 想要配置成两张负载均衡使用,需要在service文件中添加如下 Environment="CUDA_VISIBLE_DEVICES=0,1" 代表让ollama能识别到第几张显卡 Envir 阅读全文
posted @ 2025-02-12 14:13 ForLivetoLearn 阅读(3352) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示