【原创】MAC OS 本地部署开源大模型

本文的目标是演示如何在本地环境中搭建并体验AI模型,包括安装Ollama、Docker、Open WebUI,下载LLM开源大模型,并通过命令行或Web界面进行交互验证结果。

一、下载并安装Ollama

1. 什么是 Ollama?

Ollama 是一个开源的大型语言模型(LLM)服务工具,旨在帮助用户在本地环境中部署和运行大规模预训练语言模型。它通过简化模型的下载、安装和管理流程,使得用户能够轻松地在本地运行和管理各种开源大型语言模型

2.下载地址

https://ollama.com/download  根据操作系统型号选择对应的版本。

二、下载并安装docker

1. 什么是 docker?

Docker 是一个开源的容器化平台,用于开发、部署和运行应用程序。它通过使用容器技术,允许开发者将应用程序及其依赖项打包到一个独立的、可移植的容器中,从而确保应用程序在不同的环境中能够一致地运行。

2. 下载地址

https://www.docker.com/ 根据操作系统型号选择对应的版本。

三、下载 Open-webui

1. 什么是 Open-webui

Open WebUI 是一个开源的、功能丰富且用户友好的自托管 Web 用户界面,专为离线运行而设计,支持多种大型语言模型(LLM)运行器,包括 Ollama 和兼容 OpenAI 的 API。这个项目旨在为用户提供一个灵活、强大且易于使用的界面来与各种 AI 模型进行交互。

2. 下载地址

https://github.com/open-webui/open-webui

找到如下红框内容,复制 docker 命令(注意:docker 必须提前安装好)

 此操作会耗费较长时间,下载完成后,前往 docker desktop 控制台,可查看到已部署好的 open-webui 的容器

点击 3000:8080 的链接,即可在本地打开 open webui 的交互窗口页

 根据指引,创建管理员账号,登录成功后

四、下载安装LLM 大模型

前往 Ollama 的模型商城下载 llm 开源大语言模型,下载地址:https://ollama.com/search

在 Ollama 的模型版块搜索已支持的开源大模型,比如:qwen

根据电脑的配置选择大模型,如果无 gpu卡,本机不建议选择大于超过超过 7 B的大模型,这里的B是billion的意思, 7 B的大模型代表是 70 亿 参数的大模型。

这里选择 3b 的大模型

下载方案 1:终端下载,输入:ollama run qwen2.5:3b

如下所示即代表完成下载

下载方案 2:在 open-webui 下载

可在页面可直接通过搜索具体的名称完成下载,此方案更简便。

五、体验大模型

方案 1:通过命令行终端 

方案 2:在 open-webui 体验

 

 

posted @   lightinglei  阅读(968)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体
点击右上角即可分享
微信分享提示