Ollama系列---【ollama使用gpu运行大模型】

一、安装CudaToolkit

使用控制台命令查看当前显卡驱动中的cuda版本

nvidia-smi

二、下载CudaToolkit

注意:CudaToolkit版本要低于上面的显卡Cuda版本。
Cuda各版本下载地址:https://developer.nvidia.com/cuda-toolkit-archive
下载好之后,一路下一步,一直默认即可。
如果安装到了自定义的位置,记得加环境变量。这里我安装到了D盘,下面是我添加的环境变量。

三、验证是否安装成功

nvcc --version

安装成功,如下图:

四、设置Ollama环境变量

Ollama安装好后,为了让推理跑在GPU上,可以按照如下步骤 设置环境变量:
在“系统变量”中,点击“新建”按钮。
添加以下环境变量:
变量名:OLLAMA_GPU_LAYER
变量值:cuda
如果需要指定特定的 GPU,可以添加以下环境变量:
变量名:CUDA_VISIBLE_DEVICES
变量值:GPU的UUID(按编号有时找不到,所以使用UUID)
在控制台输入nvidia-smi -L,即可查看GPU的UUID

五、查看ollama是否使用了gpu

通过观察PROCESSOR就能看到,大模型是用的cpu还是gpu,还是混合的。

ollama ps

经验证:8G的显卡,跑8b的模型可以100%用GPU,非常流畅。跑14b的cpu和gpu基本4/6开,可以观察SIZE模型运行需要的大小。

posted on   少年攻城狮  阅读(7565)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 我与微信审核的“相爱相杀”看个人小程序副业
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示