文章分类 - AI-人工智能系列 / AI-大模型LLMs
摘要:“脑浮点数”(Brain Floating Point,简称 bfloat16 或 BF16) 这个名字听起来很高大上,其实它的核心逻辑非常简单粗暴。 简单概括:它是为了人工智能(AI)和深度学习专门“魔改”出来的一种数据格式。 下面我用大白话带你拆解它的前世今生。 1. 它是啥?(结构拆解) 要理
阅读全文
摘要:“BM25 是检索系统的根基算法”,而不是简单的 API 细节问题。下面我会从零假设你“完全不理解 BM25”,一步一步把它讲透,并且所有概念都会和你实际写 ES / RAG / 搜索代码的场景强绑定**。 说明:算法严格名称是 BM25(Best Matching 25),这是一个家族算法的第 2
阅读全文
摘要:大模型的 MoE 架构到底是啥 ✅ 一句话总结: MoE 是一种让模型在每次推理时只激活部分参数(部分专家)的方法,以实现计算效率和参数规模的平衡。 🧠 背后思想 传统的大模型结构(比如 GPT)是 每层参数都激活使用,这就导致: 参数越多,计算越贵; 增大模型容量(参数量)= 增大推理/训练成本
阅读全文
摘要:具体报错信息如下: PS D:\Develop\Python\ragflow\docker> docker compose -f docker-compose-gpu.yml up -d time="2025-07-28T10:27:47+08:00" level=warning msg="The
阅读全文
摘要:Milvus 和 Elasticsearch 是两种功能不同的开源工具,分别专注于向量搜索和全文搜索,以下是它们的简要介绍、区别以及适用场景: 1. Milvus 作用:Milvus 是一个开源的向量数据库,专门用于高效存储、索引和搜索高维向量数据(通常由机器学习模型生成,如图像、文本或音频的嵌入向
阅读全文
摘要:例如,我现在在部署ollama服务时遇到报错如下: C:\Users\Admin>ollama serve Error: listen tcp 0.0.0.0:11434: bind: Only one usage of each socket address (protocol/network a
阅读全文
摘要:首先我打开ollama,看下我目前安装了哪些模型: E:\>ollama list NAME ID SIZE MODIFIED qwen3:32b 030ee887880f 20 GB 10 hours ago llama3.2:latest a80c4f17acd5 2.0 GB 5 days a
阅读全文
摘要:以下是 Ollama 的常用命令列表,涵盖了模型管理、运行和服务的核心功能。每个命令附带说明和示例,基于 Ollama 的官方文档和常见使用场景。 所有命令假设你在命令行(Windows 的 PowerShell/CMD 或 Linux/macOS 的终端)中运行,且 Ollama 已正确安装。 如
阅读全文
摘要:目前主要有这么几个有待研究: n8n, MCP, Dify, CodeBuddy, LangChain 查看本机的公网IP: 只需输入如下命令 C:\Users\Admin>curl ifconfig.me 10.121.27.53 参考资料: [1] 为什么说接下来会诞生很多“一人公司”? [2]
阅读全文
摘要:Docker desktop 安装到指定目录 Docker desktop默认安装到C盘,且安装包无法指定安装目录,这将占用较多的系统盘空间。 网上很多方法都是通过建立软连接的方式,即: 用管理员打开Powershell,输入: cmd /c mklink /j "C:\\Program Files
阅读全文
摘要:在安装Ollama时,虽然默认情况下会安装在C盘, 但你可以通过以下步骤选择自定义的安装路径: 首先,从Ollama官方网站下载安装包。 下载完成后,不要直接双击运行安装程序,否则不给你选择的机会,直接装C盘。而是需要在安装包所在的目录下打开命令提示符(在文件夹地址栏输入cmd并按回车即可快速打开)
阅读全文
摘要:其实并没有多高大上,这两类数据集本质上的差异,就是描述单轮、多轮对话。 1. Alpaca 格式 概念 Alpaca 格式是一种简单的数据结构,通常用于指令微调(Instruction Tuning)任务。 它由斯坦福大学的研究团队提出,特别适合训练语言模型理解和生成符合人类指令的回答。数据通常以
阅读全文
摘要:以下是关于 Hugging Face 和类似大模型中的一些关键概念的解释。 包括 .safetensor、.checkpoint、CLIP 模型、VAE 模型和 GGUF 模型的定义、通俗解释及举例: 总结 名称概念通俗解释举例 .safetensor 安全高效的模型权重文件格式 安全存储容器 st
阅读全文
摘要:1、Local LLM support (optional, requires compatible GGUF model) 这GGUF是什么,哪些常见大模型是输入GGUF,哪些又不属于呢? GGUF(GPT-Generated Unified Format)是一种专为大型语言模型设计的二进制文件格
阅读全文

浙公网安备 33010602011771号