ollama AMD rx6750 gre 指南

背景

红了!我红温了!
本来ollama玩的好好的。正在测试几百兆的小大模型是否能够充当翻译插件的API接口,突然发现ollama启动的时候用的居然是cpu!
作为高贵的AMD用户,遇到这样的事情自然是波澜不惊,立马寻找解决方案。
然后发现我的显卡不在ollama支持范围内。

本以为简单的配置一下就可以了,这从网上一查,我滴龟龟!

还得想办法

https://www.bilibili.com/read/cv34059681/?jump_opus=1
诶!
你还别说,B友们真是神通广大。
那就编译呗。

PS:这里虽然一带而过,其中编译环节每次遇到错误都会耗费大把的时间尝试去搜索,修复对应的错误,安装卸载各种环境,实在是烦人!

开编

不得不说,ollama windows平台编译写的那叫一个粗糙。在哪执行啥操作也不说,直接给三个命令你就调去吧。
它这个文档首先会让你安装一些东西,你先按我的来。
首先打开你的vs2022安装程序,把cmake组件安装上哈。
然后装一个mingw,bin配置到PATH环境变量里。
接着打开你的VS2022开发环境cmd,去这里边执行它给的命令,不然你就挠头吧。

编译时间挺长的。需要耐心等待

编译完了记得替换 ROCmLibs

posted @ 2024-09-29 01:44  Smalldy  阅读(86)  评论(0编辑  收藏  举报