Window上使用Ollama和MaxKB部署本地AI

前导

Ollama是一个本地部署大语言模型并运行的开源项目
MaxKB是一个用于管理本地大语言模型且能前端显示的开源项目
需要使用到Docker

一:下载Ollama

Ollama官网:https://ollama.com/

cmd下输入ollama验证是否部署成功

二:在ollama网站上搜索想部署的模型并部署

这里以通义千问(qwen)为例

在cmd下ollama run qwen:4b

qwen代表模型名称
4b代表有4百亿模型参数,b means billion
数字越高,训练的模型参数越多

看到下面的结果表示部署成功,可在命令行进行对话

ollama list 用于显示本地有几个模型
ollama run 后面跟要运行的模型
ollama rm 后面跟要删除的模型

三、使用MaxKB在浏览器交互

在docker下进行MaxKB部署:https://github.com/1Panel-dev/MaxKB

浏览器中输入本地ip和端口8080,进入页面

用户名: admin
密码: MaxKB@123..

进入 系统设置-模型设置-添加模型-添加Ollama

四、部署一个简单的chat实例

点击 应用->模型->创建->演示

posted @   potato0  阅读(751)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)
点击右上角即可分享
微信分享提示