随笔分类 -  人工智能大模型

本地部署 通义千问视觉大模型 2.5-VL-3B-Instruct-AWQ量化 （windows）
摘要：自 Qwen2-VL 发布以来的五个月里，众多开发者在 Qwen2-VL 视觉语言模型的基础上构建了新的模型，并为我们提供了宝贵的反馈。在此期间，我们专注于构建更有用的视觉语言模型。今天，我们非常激动地向大家介绍 Qwen 家族的最新成员：Qwen2.5-VL。 视觉理解：Qwen2.5-VL 不仅 阅读全文
posted @ 2025-05-22 16:17 马铃薯1 阅读(3086) 评论(1) 推荐(1)
大模型RAG学习笔记
摘要：RAG概念 RAG（Retrieval Augmented Generation）检索增强生成，通过检索外部数据，增强大模型的生成效果。 RAG为LLM提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG基本上是Search + LLM提示，通过大模型回答查询，并将搜索算法所找到的信息作为 阅读全文
posted @ 2025-04-22 08:25 马铃薯1 阅读(243) 评论(0) 推荐(0)
DeepSeek R1 + ollama + ragflow 使用 docker 部署（Windows）
摘要：DeepSeek-R1本地部署配置要求 Github地址：https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file 模型规模最低 GPU 显存推荐 GPU 型号纯 CPU 内存需求适用场景 1.5B 4GB RTX 3050 8GB 阅读全文
posted @ 2025-03-13 11:28 马铃薯1 阅读(3300) 评论(0) 推荐(0)
LLaMa-Factory 本地微调 Deepseek R1 1.5B 大模型
摘要：LLaMA Factory 是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过 Web UI 界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架之一。项目提供了多个高层次抽象的调用接口，包含多阶段训练，推理测试，benchmark评测，API Server等，使开发 阅读全文
posted @ 2025-02-12 11:53 马铃薯1 阅读(16262) 评论(1) 推荐(0)
Deepseek R1 + ollama + AnythingLLM 本地搭建大模型知识库
摘要：DeepSeek-R1本地部署配置要求 Github地址：https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file 模型规模最低 GPU 显存推荐 GPU 型号纯 CPU 内存需求适用场景 1.5B 4GB RTX 3050 8GB 阅读全文
posted @ 2025-02-07 17:00 马铃薯1 阅读(5981) 评论(0) 推荐(0)
DeepSeek R1 + ollama + open-webui 本地部署（windows）
摘要：DeepSeek-R1本地部署配置要求 Github地址：https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file 模型规模最低 GPU 显存推荐 GPU 型号纯 CPU 内存需求适用场景 1.5B 4GB RTX 3050 8GB 阅读全文
posted @ 2025-02-07 16:05 马铃薯1 阅读(6503) 评论(0) 推荐(2)
Deepseek R1 + LMStudio 本地部署（windows）
摘要：DeepSeek-R1本地部署配置要求 Github地址：https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file 模型规模最低 GPU 显存推荐 GPU 型号纯 CPU 内存需求适用场景 1.5B 4GB RTX 3050 8GB 阅读全文
posted @ 2025-02-07 14:52 马铃薯1 阅读(4158) 评论(0) 推荐(1)