5分钟运行最新llama-3大模型
Meta最新推出的开源大模型llama-3,被誉为目前最强的开源大模型,能力接近于GPT 4.5. 因此在本地搭建一下抢鲜体验
系统环境
CPU: Intel(R) Core(TM) i7-8650U CPU @ 1.90GHz 2.11 GHz
RAM: 16G
GPU: Navida 1060 6G
DISK: 100 G Free
基于上述自身条件,装llama-3 8b版本比较实际。
整个安装使用Ollama,5分钟安装完成正常运行
用Ollama运行llama-3
点击这里下载 Ollama Windows Preview版本。我下载msi包,完成下载后直接安装
完成安装后直接打开命令行提示符或者Power Shell。运行
ollama run llama3:8b
等待ollama下载llama3完成并运行,成功运行后显示结果如下:
这样就可以在命令行中进行问答。
增加Web UI
如果需要一个像ChatGPT网页版那样的UI界面,还需要多做一步,就是安装Open WebUI, 原来叫Ollama-WebUI, 可见原来是一家人。Open WebUi直接到他们的github代码库上去看安装指导,用Docker安装非常简单,前提是在Windows系统中安装好Docker Desktop. 运行以下命令就行
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安装结果如下:
然后,浏览器里输入 http://localhost:3000/ 就可以看到运行起来的网页版了。
结语
这样,llama-3就在5分钟之内在本地搭建起来了,不过体验下来,8b还是差了点意思,玩玩可以,真正干活还是要用大参数版本的。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步