摘要：
实现目标和考虑因素 部署一个支持多用户同时使用、多模型运行的离线局域网大模型服务器 需要考虑以下几个关键因素： 大模型的加载和管理。使用一个基础大模型，根据需要创建多个专用模型，模型管理方便可靠。 并发用户和请求管理。设置管理员、用户角色，用户管理方便可靠，支持多名用户同时在线操作。 多模型同时运行 阅读全文
摘要：
环境搭建 系统环境 需要Nvidia显卡，至少8G显存，且专用显存与共享显存之和大于20G 建议将非安装版的环境文件都放到非系统盘，方便重装或移植 以Windows11为例，非安装环境文件都放在 E 盘下 设置自定义Path文件夹 创建 E:\mypath 文件夹，将其添加进用户环境变量Path中， 阅读全文
摘要：
环境搭建 系统环境 需要Nvidia显卡，至少8G显存，且专用显存与共享显存之和大于20G 建议将非安装版的环境文件都放到非系统盘，方便重装或移植 以Windows11为例，非安装环境文件都放在 E 盘下 设置自定义Path文件夹 创建 E:\mypath 文件夹，将其添加进用户环境变量Path中， 阅读全文