5分钟运行最新llama-3大模型

Meta最新推出的开源大模型llama-3,被誉为目前最强的开源大模型,能力接近于GPT 4.5. 因此在本地搭建一下抢鲜体验

系统环境

CPU: Intel(R) Core(TM) i7-8650U CPU @ 1.90GHz 2.11 GHz
RAM: 16G
GPU: Navida 1060 6G
DISK: 100 G Free

基于上述自身条件,装llama-3 8b版本比较实际。

整个安装使用Ollama,5分钟安装完成正常运行

用Ollama运行llama-3

点击这里下载 Ollama Windows Preview版本。我下载msi包,完成下载后直接安装

完成安装后直接打开命令行提示符或者Power Shell。运行

ollama run llama3:8b

等待ollama下载llama3完成并运行,成功运行后显示结果如下:

image

这样就可以在命令行中进行问答。

增加Web UI

如果需要一个像ChatGPT网页版那样的UI界面,还需要多做一步,就是安装Open WebUI, 原来叫Ollama-WebUI, 可见原来是一家人。Open WebUi直接到他们的github代码库上去看安装指导,用Docker安装非常简单,前提是在Windows系统中安装好Docker Desktop. 运行以下命令就行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装结果如下:

image

然后,浏览器里输入 http://localhost:3000/ 就可以看到运行起来的网页版了。

image

结语

这样,llama-3就在5分钟之内在本地搭建起来了,不过体验下来,8b还是差了点意思,玩玩可以,真正干活还是要用大参数版本的。

posted @   羽扇冠巾  阅读(1147)  评论(0编辑  收藏  举报
努力加载评论中...
点击右上角即可分享
微信分享提示