Ollama系列---【ollama使用gpu运行大模型】
一、安装CudaToolkit
使用控制台命令查看当前显卡驱动中的cuda版本
nvidia-smi

二、下载CudaToolkit
注意:CudaToolkit版本要低于上面的显卡Cuda版本。
Cuda各版本下载地址:https://developer.nvidia.com/cuda-toolkit-archive
下载好之后,一路下一步,一直默认即可。
如果安装到了自定义的位置,记得加环境变量。这里我安装到了D盘,下面是我添加的环境变量。
三、验证是否安装成功
nvcc --version
安装成功,如下图:
四、设置Ollama环境变量
Ollama安装好后,为了让推理跑在GPU上,可以按照如下步骤 设置环境变量:
在“系统变量”中,点击“新建”按钮。
添加以下环境变量:
变量名:OLLAMA_GPU_LAYER
变量值:cuda
如果需要指定特定的 GPU,可以添加以下环境变量:
变量名:CUDA_VISIBLE_DEVICES
变量值:GPU的UUID(按编号有时找不到,所以使用UUID)
在控制台输入nvidia-smi -L,即可查看GPU的UUID
五、查看ollama是否使用了gpu
通过观察PROCESSOR
就能看到,大模型是用的cpu还是gpu,还是混合的。
ollama ps
经验证:8G的显卡,跑8b的模型可以100%用GPU,非常流畅。跑14b的cpu和gpu基本4/6开,可以观察SIZE
模型运行需要的大小。
愿你走出半生,归来仍是少年!
分类:
【AI】 / 【Ollama】
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 我与微信审核的“相爱相杀”看个人小程序副业
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~