Window上使用Ollama和MaxKB部署本地AI
前导
Ollama是一个本地部署大语言模型并运行的开源项目
MaxKB是一个用于管理本地大语言模型且能前端显示的开源项目
需要使用到Docker
一:下载Ollama
Ollama官网:https://ollama.com/
cmd下输入ollama验证是否部署成功
二:在ollama网站上搜索想部署的模型并部署
这里以通义千问(qwen)为例
在cmd下ollama run qwen:4b
qwen代表模型名称
4b代表有4百亿模型参数,b means billion
数字越高,训练的模型参数越多
看到下面的结果表示部署成功,可在命令行进行对话
ollama list 用于显示本地有几个模型
ollama run 后面跟要运行的模型
ollama rm 后面跟要删除的模型
三、使用MaxKB在浏览器交互
在docker下进行MaxKB部署:https://github.com/1Panel-dev/MaxKB
浏览器中输入本地ip和端口8080,进入页面
用户名: admin
密码: MaxKB@123..
进入 系统设置-模型设置-添加模型-添加Ollama
四、部署一个简单的chat实例
点击 应用->模型->创建->演示
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)