收集:本地运行Llama3

本地运行Llama3新方法#
国外有网友火速分享了在本地（Windows、Linux、Mac）一键运行 Llama 3 的新方法~
废话不多说，先看效果。【图1】
在视频1倍速播放中，他用 OpenWebUI 在自己的 Macbook Pro M1 Max 64G 上成功运行了 Llama 3 。
而且还添加了侧边栏展开收起。【图2】
以上效果他通过两个步骤实现。1.安装开源 OpenWebUI（具体链接文末提供）
　　　　　　　　　　　　　　2.在 OpenWebUI 的 “拉取模型” 菜单中输入 llama3：instruct，然后单击下载按钮
　　　　　　　　　　　　　　3.一键开启运行【图5】

顺便一提， OpenWebUI 还支持 llama 3 与 PDF 及其他文件聊天。【图6】

此外，他还分享了利用 llama 3 生成图像的方法。【图7】

具体而言，他使用开源 Python 库#Gradio#构建了一个可以使用 Stable Diffusion XL Turbo 和 Diffusers 库生成图像的应用程序。

开发者只需将 huggingface hub 名称从“stabilityai/stable-diffusion-xl-turbo”更改为“stabilityai/sdxl-turbo”，然后使用 Gepeto 生成一个启动器脚本即可。【图8】

最后，网友强调了， llama 3 70B 模型占用大约 40G 内存，尝试前需确保磁盘空间。

开源地址合集⬇️
OpenWebUI 开源地址：网页链接
Llama 3开源地址：网页链接
Llama 3在线体验：网页链接
Github地址：网页链接