今年春节,好消息不断,其中DeepSeek 的刷屏,真是振奋了国人的心。 DeepSeek 是一个基于 Transformer 架构的高性能语言模型,专注于提供高效的推理能力和定制化支持。它适用于多种自然语言处理任务,如文本生成、对话系统、代码补全等。DeepSeek 的设计目标是让用户能够在本地设备上高效运行,同时支持灵活的模型微调和扩展。 DeepSeek的成功也让大模型变得更加平民化。现在我们就可以来体验一下DeepSeek的强大。
本次我们使用ollama + DeepSeek-R1 + open-webui (或者Cherry Studio)这样的方案
为什么选择 Ollama 运行 DeepSeek?
-
本地化运行:Ollama 允许你在本地计算机上运行 DeepSeek,无需依赖云端服务,保护数据隐私。
-
资源优化:Ollama 对模型推理过程进行了优化,即使在资源有限的设备上也能高效运行。
-
简单易用:Ollama 提供了简单的命令行工具,使得安装和运行模型变得非常容易。
-
多模型支持:除了 DeepSeek,Ollama 还支持其他流行的语言模型,如 LLaMA、GPT-J 等。
为什么选择open-webui
大型语言模型(LLMs)的普及,越来越多的开发者和研究者希望在本地运行这些模型。然而,大多数语言模型的交互方式仅限于命令行界面(CLI),这对于非技术用户或需要更直观操作的用户来说可能不够友好。Open WebUI 是一个开源项目,旨在为本地语言模型提供一个现代化的 Web 用户界面(UI),让用户能够通过浏览器轻松地与模型交互。
Open WebUI 是一个为本地语言模型设计的开源 Web 界面。它允许用户通过浏览器与模型进行交互,而无需使用命令行工具。Open WebUI 支持多种流行的语言模型,如 LLaMA、GPT-J、DeepSeek 等,并且可以与 Ollama 等本地模型运行工具无缝集成。
Open WebUI 的目标是让语言模型的交互更加直观和用户友好,同时保持开源和可扩展性。
Open WebUI 的核心功能
-
现代化的 Web 界面
Open WebUI 提供了一个简洁、直观的 Web 界面,用户可以通过浏览器轻松地与模型交互。 -
多模型支持
支持多种语言模型,包括 LLaMA、GPT-J、DeepSeek 等,用户可以根据需要切换模型。 -
与 Ollama 集成
Open WebUI 可以与 Ollama 无缝集成,直接在本地运行语言模型。 -
对话历史记录
自动保存对话历史,方便用户查看和管理之前的交互记录。 -
多用户支持
支持多用户登录和权限管理,适合团队协作使用。 -
可扩展性
开源设计允许开发者根据需求自定义和扩展功能。
Open WebUI 的优势
-
用户友好:通过 Web 界面交互,降低了使用门槛,适合非技术用户。
-
本地化运行:所有数据和模型都在本地运行,保护用户隐私。
-
开源免费:完全开源,用户可以自由使用和修改。
-
跨平台支持:支持 Linux、macOS 和 Windows 系统。
也可以用docker 把WebUI服务打包成镜像,减少了很多操作和环境问题,你可以使用pip 等安装 。 当然,也有其他的方案,比如Enchanted ,Cherry Studio 和其他特别多的开源工具 https://github.com/ollama/ollama?tab=readme-ov-file#web--desktop
安装 Ollama 和 DeepSeek 的步骤
1. 安装 Ollama
详见 https://www.cnblogs.com/xd502djj/p/18698621 包含Linux、MacOS、及Windows环境下的安装过程。
2. 下载 DeepSeek 模型
安装完Ollama之后,就可以使用Ollama安装和运行大模型了。
可以从https://ollama.com/search 找到大模型类型,目前deepseek比较火,排在第一个,可以在选择具体的参数版本,可以看到安装命令: ollama run deepseek-r1 ,复制。
在命令行执行
1 | ollama run deepseek-r1 |
tips:需要看下内存是否足够,我的实验开发机比较小,提示内存不足,我只好换成1.5b的了,主要验证过程。
ollama run deepseek-r1:1.5b
其实到目前,在命令行里面输入就可以体验deepseek 了,Mac或者Windows 在这个环节是一样的,直接输入ollama ** 命令即可。但是如果需要像ChatGPT一样就需要有页面展示了,体验会好很多。针对大模型的输入输出也有很多的开源工具可以用,open-webui就是其中一个。下面介绍下页面端的安装。
2. 安装open-webui
主要详细介绍下Linux环境下的安装, Mac和Windows下比较简单,过程类似Linux。
Linux环境
Linux 需要安装Python3.11 环境,具体的可参考 https://www.cnblogs.com/xd502djj/p/4686863.html
到Python官网下载源码https://www.python.org/downloads/
1 | <br><br>[root@ ~] #wget https://www.python.org/ftp/python/3.11.11/Python-3.11.11.tar.xz |
[root@ ~]#tar -xvf Python-3.11.11.tar.xz
[root@ ~]#cd Python-3.11.11/
[root@ ~]#./configure --prefix=/usr/local/python3.11 --enable-optimizations --with-openssl=/usr
[root@ ~]#make
[root@ ~]#sudo make altinstall
tips:make install
可以覆盖或伪装 python3
二进制文件。因此,建议使用 make altinstall
而不是 make install
,因为后者只安装了 exec_prefix/bin/pythonversion
。
再添加到path中 ,并测试Python版本
1 | export PATH= /usr/local/python3 .11 /bin :$PATH |
tips:ssl 这个模块非常重要,否则会造成后面启动失败。
我遇到ssl没有安装成功,是因为openssl的版本太低,升级到1.1.1 之后,重新编译python3 ,
安装 open-webui
1 | pip install open -webui |
启动
open-webui serve
tips: 启动时候要求 requires sqlite3 >= 3.35.0 低的话需要升级下,系统源没有最新的,需要下载源码编译,并且在编译的时候需要启用 FTS5 ,安装下,重新编译Python。
按照提示注册管理员账号
点击“确认,开始使用”就可以聊天了。
服务器配置提升之后,可以换一个高版本的大模型。效果会更好些。
具体见GitHub
如果按照过程中出现问题不好解决,也可以使用pthon +venv 安装
1 2 3 4 5 6 7 | python3 -m venv venv source venv /bin/activate pip install open -webui open -webui serve |
也可以使用docker +docker compose 安装 具体
1 | https: //www .cnblogs.com /xd502djj/p/7374159 .html |
Mac环境
类似Linux ,也可以使用docker
Windows环境
Android/IOS环境
Ollama官网:
https://ollama.com
Docker官网:
https://www.docker.com
Open WebUI的代码页:
https://github.com/open-webui/open-webui
本文来自博客园,作者:茄子_2008,转载请注明原文链接:https://www.cnblogs.com/xd502djj/p/18698682
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 本地部署 DeepSeek:小白也能轻松搞定!
· 传国玉玺易主,ai.com竟然跳转到国产AI
· 自己如何在本地电脑从零搭建DeepSeek!手把手教学,快来看看! (建议收藏)
· 我们是如何解决abp身上的几个痛点
· 如何基于DeepSeek开展AI项目