团队小规模本地大模型服务平台搭建 - Windows

实现目标和考虑因素

部署一个支持多用户同时使用、多模型运行的离线局域网大模型服务器
需要考虑以下几个关键因素:

  1. 大模型的加载和管理。使用一个基础大模型,根据需要创建多个专用模型,模型管理方便可靠。
  2. 并发用户和请求管理。设置管理员、用户角色,用户管理方便可靠,支持多名用户同时在线操作。
  3. 多模型同时运行与切换。多个模型可同时多人使用与切换,且能迅速响应、流畅使用。
  4. 硬件资源的优化利用。大模型服务后端支持充分利用多显卡资源。
  5. 高可用性和负载均衡。大模型服务前后端均有高可用性,前端支持负载均衡。
  6. 数据隐私与安全。全部使用离线本地平台和模型,数据保留在本地局域网内。

环境和平台配置

硬件环境

需要支持AI计算的Nvidia显卡,显卡专用内存不少于8G,计算机内存不少于16G。

系统环境

64位的 Windows 10 或以上、Ubuntu 20.04、macOS 11 或以上,这里以 Windows 10 x64 为例
安装 python 3.11

所需平台

Ollama(https://ollama.com/),为大模型管理和调用提供后端服务支持
Open-WebUI(https://docs.openwebui.com/,推荐 python 3.11 环境下通过pip或其他包管理工具安装),为大模型可视化使用和切换、用户管理提供前端服务支持

平台配置

ollama

设置环境变量

执行以下PowerShell命令

[Environment]::SetEnvironmentVariable("OLLAMA_ORIGINS","*","User") # 允许的源列表,使用逗号分隔
[Environment]::SetEnvironmentVariable("OLLAMA_MODELS","D:\AI\ollama_models","User") # 模型存储位置
[Environment]::SetEnvironmentVariable("OLLAMA_KEEP_ALIVE","-1","User") # 模型在内存中保持加载的时长(默认值:5m,小时用h)
[Environment]::SetEnvironmentVariable("OLLAMA_HOST","localhost:11434","User") # 服务器IP地址(默认值:localhost:11434)
[Environment]::SetEnvironmentVariable("OLLAMA_FLASH_ATTENTION","1","User") # 启用 Flash Attention,默认为true

Ollama后端服务启动后,模型是未加载状态,当有用户调用时,会进行模型的加载过程,这个过程根据模型大小和性能不同持续时间也不同,之后模型会在内存中保持一段时间,方便用户快速调用模型,上面配置中模型在内存中保持加载的时长设置为了-1,即模型被调用后,在内存中不会释放。按需调整配置参数,完成后重启计算机。

下载模型

根据需要下载不同大模型,可下载的大模型列表可在ollama官方网站找到,也可在本地使用已有或自制GGUF格式大模型创建。这里下载qwen2.5:7b

ollama pull qwen2.5:7b

Open-WebUI

设置环境变量

执行以下PowerShell命令

[Environment]::SetEnvironmentVariable("HF_ENDPOINT","https://hf-mirror.com","User") # 设置huggingface的国内镜像源
[Environment]::SetEnvironmentVariable("WEBUI_AUTH","True","User") # Default: True,False则免登录
[Environment]::SetEnvironmentVariable("WEBUI_NAME","团队本地大模型服务平台","User") # Default: Open WebUI,平台名称
[Environment]::SetEnvironmentVariable("AIOHTTP_CLIENT_TIMEOUT","300","User") # Default: 300
[Environment]::SetEnvironmentVariable("DATA_DIR","D:\AI\webui_data","User") # Default: ./data,指定数据存储的基本目录,包括上传、缓存、矢量数据库等
[Environment]::SetEnvironmentVariable("DEFAULT_MODELS","qwen2.5:7b","User") # 设置默认语言模型
[Environment]::SetEnvironmentVariable("ENABLE_COMMUNITY_SHARING","False","User") # Default: True,控制是否显示“分享到社区”按钮
[Environment]::SetEnvironmentVariable("ENABLE_MESSAGE_RATING","False","User") # Default: True,启用消息评分功能
[Environment]::SetEnvironmentVariable("DEFAULT_LOCALE","cn","User") # Default: en,设置应用程序的默认区域设置
[Environment]::SetEnvironmentVariable("OLLAMA_BASE_URL","http://localhost:11434","User") # Default: http://localhost:11434,配置 Ollama 后端 URL,若启用 Ollama 后端负载均衡,设置 OLLAMA_BASE_URLS,由;分隔

以上默认语言模型、Ollama 后端 URL等配置也可在平台管理员后台设置

按指定端口启动服务

在终端执行以下命令

open-webui serve --port 8080

第一次启动会要求创建管理员账号,邮箱部分后缀用“@localhost”,后面创建新用户也用这个后缀。

若忘记了管理员账号和密码,可通过修改数据库找回

修改管理员密码
关闭 open-webui 服务
使用在线工具生成Bcrypt密码哈希(https://www.bejson.com/encrypt/bcrpyt_encode/,Rounds为10)
找到程序目录里的 D:\AI\webui_data\webui.db 文件,更新管理员密码,以下是linux命令示例:
sqlite3 ./webui.db "UPDATE auth SET password='管理员密码哈希' WHERE email='admin@example.com';"

进入管理员面板,关闭竞技场匿名评价模型,创建新用户,其他按需进行设置

基于大模型创建专用模型

在工作空间中进行设置,创建模型,选择好基础模型后,按需设置系统提示词、知识库、可用工具、过滤器、自动化部分
比如创建一个简单的“推理助手”模型,基础模型选择qwen2.5:7b,系统提示词设置为“针对以下问题,给出最简短的答案,并解释你的推理过程”,点击保存并更新即可。
基于基础模型所调用的所有新模型,其内存加载的都是基础模型,所以多个用户可同时使用该基础模型所创建的多个模型,而不用再次经过模型加载过程,表现在多名用户可同时流畅使用多个模型。

平台使用

详见Open-WebUI官方文档(https://docs.openwebui.com/)

posted @   hvker  阅读(266)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· 2 本地部署DeepSeek模型构建本地知识库+联网搜索详细步骤
点击右上角即可分享
微信分享提示