为了能到远方|

🐳.城南

园龄:7年5个月粉丝:11关注:1

ollama 使用 gpu 运行

1
2
3
4
5
6
7
8
9
10
11
说明:以 GPU 模式运行 Ollama 需要有 NVIDIA 显卡支持。
 
1. 安装英伟达容器安装包
我们以 Ubuntu22.04 为例(其他系统请参考:英伟达官方文档)
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/arch-overview.html
 
配置apt源
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

  

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
更新源
sudo apt-get update
 
安装工具包
 
sudo apt-get install -y nvidia-container-toolkit
 
 
使用 GPU 运行 Ollama
 
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
 
 
 
使用 Ollama 下载模型
 
docker exec -it ollama ollama pull llama3:8b

  

 

本文作者:🐳.城南

本文链接:https://www.cnblogs.com/dockers/p/18176415

版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。

posted @   🐳.城南  阅读(16496)  评论(1编辑  收藏  举报
点击右上角即可分享
微信分享提示
评论
收藏
关注
推荐
深色
回顶
收起