合集-AI 大模型
摘要:自我介绍: ollama 是目前最流行的本地大模型集合管理器,ollama 用于安装各大模型,然后再安装一个UI展示页面,目前比较流行的是 open-webui 技术栈选型:open webui+ollama 安装方式 1. 本地安装 官网下载安装包,一键安装即可 2. docker 安装(推荐使用
阅读全文
摘要:一、介绍: lmstudio 可以安装目前所有的开源模型,可以让您本地搭建一套属于自己的AI大模型 二、下载地址 https://lmstudio.ai 三、使用教程 1. 修改镜像源 找到 LM Studio\resources\app.webpack\renderer\下 main_window
阅读全文
摘要:以下是针对 1.5B、7B、8B、14B、32B、70B、671B 参数规模的本地大模型硬件配置参考表,结合量化技术(4-bit/8-bit)和不同场景需求分类整理: 1. 1.5B 模型(约15亿参数) 配置项 最低配置 推荐配置 显存(GPU) 4GB(需4-bit量化) 8GB(可运行FP16
阅读全文