合集-AI 大模型

摘要:自我介绍: ollama 是目前最流行的本地大模型集合管理器,ollama 用于安装各大模型,然后再安装一个UI展示页面,目前比较流行的是 open-webui 技术栈选型:open webui+ollama 安装方式 1. 本地安装 官网下载安装包,一键安装即可 2. docker 安装(推荐使用 阅读全文
posted @ 2024-12-31 10:24 快乐小王子帅气哥哥 阅读(846) 评论(0) 推荐(0) 编辑
摘要:一、介绍: lmstudio 可以安装目前所有的开源模型,可以让您本地搭建一套属于自己的AI大模型 二、下载地址 https://lmstudio.ai 三、使用教程 1. 修改镜像源 找到 LM Studio\resources\app.webpack\renderer\下 main_window 阅读全文
posted @ 2025-01-28 22:04 快乐小王子帅气哥哥 阅读(2753) 评论(0) 推荐(0) 编辑
摘要:以下是针对 1.5B、7B、8B、14B、32B、70B、671B 参数规模的本地大模型硬件配置参考表,结合量化技术(4-bit/8-bit)和不同场景需求分类整理: 1. 1.5B 模型(约15亿参数) 配置项 最低配置 推荐配置 显存(GPU) 4GB(需4-bit量化) 8GB(可运行FP16 阅读全文
posted @ 2025-01-31 12:04 快乐小王子帅气哥哥 阅读(7732) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
more_horiz
keyboard_arrow_up dark_mode palette
选择主题