摘要： Memory是外脑，外脑中的内容可以定期训练内化到大模型 阅读全文

摘要： 阅读全文

摘要： 前言 最近大半年的时间，我基本都泡在大模型的RLHF 训练里，反复跑了很多轮实验。这个过程中，遇到了各种各样的问题和现象，光看论文理论往往不够，很多时候还是要靠实际调试来解决。我把这段时间踩过的坑、网上查到的资料以及自己摸索总结出来的一些调参思路和解决方案整理了一下。下边就分享给大家，希望能给同样在 阅读全文

摘要： Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE 在信息学奥赛（尤其是NOI系列比赛）中，矩阵乘法并不是简单地“算两个矩阵相乘”，而是作为一种高效工具来解决以下几类经典问题： ✅ 1. 线性递推加速（矩阵快速幂） 典型题目：斐波那契数列第 阅读全文

摘要： OpenAI非常由下而上，尤其是在研究领域。我刚来的时候，开始询问下个季度的路线图。我得到的答案是：“这东西不存在”（虽然现在有了）。好的想法可以来自任何地方，而且事先往往并不清楚哪些想法会最有成效。进展不是来自一个宏伟的“总体规划”，而是迭代式的，随着新研究成果的出现而逐步揭示。得益于这种由下而上 阅读全文

摘要： SFT和RLHF阶段主要要培养模型的三个能力:(1) 领域内问题的判别能力，对领域外的问题需要能拒识 (2) 基于召回的知识回答问题的能力 (3) 领域内风格对齐的能力。 pretrain 的技术方法正在全面入侵 post training（退火、课程学习、多阶段训练。。。） 阅读全文

摘要： 想象你在读一本悬疑小说，但许多关键线索却不知去向。你努力拼凑故事的碎片，但这些信息却被分散在各个章节里。这就好比AI模型在缺乏必要的信息的情况下回答问题时，它们就会胡言乱语。他们猜测，他们填补空白处——而他们也会出错。即使在像检索增强生成（RAG）这样的先进系统中，如果检索到的上下文片段不够明确或不 阅读全文

摘要： Agent：搭建任务结构，能精确地引导模型做事在有明确的 context 和清晰的任务范围时，Agent 已经能处理很复杂的任务了，可一旦任务变得模糊、需要探索环境或迭代开发，Agent 就开始吃力人类是可以做到在工作中学习的，如果能让模型在真实世界中学习，而不是人类需要花几十亿收集每个具体任务的数 阅读全文

摘要： CrewAI是一个开源的多智能体协作框架，其设计灵感来源于现实世界中的团队分工，通过协调多个具备特定角色的智能体（Agent）共同完成复杂任务。以下是其核心概念的详细说明： 1. ‌智能体（Agent）‌ ‌定义‌：Agent是框架中的基本执行单元，类似于团队中的成员，拥有明确的角色、目标和背景故事 阅读全文

摘要： 工业应用的三条黄金法则 基于实验结果，提炼出 MM-LLMs 在工业级 OCR 应用的实施建议： 1. 高价值文档必须专业扫描：合同、票据等关键文件需使用 ≥300PPI 的扫描设备。 2. 数字验证场景双系统并行：对验证码、身份证号等场景，建议采用"MM-LLMs 语境理解+传统 OCR 字符校验 阅读全文