ollama 使用 gpu 运行
1 2 3 4 5 6 7 8 9 10 11 | 说明:以 GPU 模式运行 Ollama 需要有 NVIDIA 显卡支持。 1. 安装英伟达容器安装包 我们以 Ubuntu22.04 为例(其他系统请参考:英伟达官方文档) https: //docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/arch-overview.html 配置apt源 curl -fsSL https: //nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https: //nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | 更新源 sudo apt- get update 安装工具包 sudo apt- get install -y nvidia-container-toolkit 使用 GPU 运行 Ollama docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 使用 Ollama 下载模型 docker exec -it ollama ollama pull llama3:8b |
本文作者:🐳.城南
本文链接:https://www.cnblogs.com/dockers/p/18176415
版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步