deephub

摘要： 分块策略、混合检索、重排序、HyDE、上下文压缩、元数据过滤、自适应k值——八个实用技巧快速改善检索质量 RAG系统答不准问题，本质上是检索精度的问题。LlamaIndex本身提供的调优空间还挺大，不用推翻重写就能把准确率往上拉一截。本文整理了八个实际用过的优化手段，针对性解决幻觉、上下文错位、答案 阅读全文

摘要： 斯坦福和SambaNova AI最近联合发了一篇论文，Agentic Context Engineering (ACE)。核心思路：不碰模型参数，专注优化输入的上下文。让模型自己生成prompt，反思效果，再迭代改进。 可以把这个过程想象成模型在维护一本"工作手册"，失败的尝试记录成避坑指南，成功的 阅读全文

摘要： 这是一篇再国外讨论非常火的帖子，我觉得不错所以把它翻译成了中文。 大语言模型和ai只能提的发展衍生出了一个东西叫"vibe coding"（氛围编程）——用自然语言描述需求，让AI生成代码，看起来不用写代码就能做出产品。 但这玩意儿本质上是个陷阱。它培养的不是开发者，而是一群只会生成代码、却看不懂也 阅读全文

摘要： Pandas 的 bug 有个特点，就是不会在控制台里大喊大叫，而是悄悄藏在 dtype 转换、索引操作、时区处理的某个角落，或者那种跑十万次才能复现一次的边界条件。所以如果你想找到和定位这种隐藏的BUG就需要一套相对简洁的测试手段能把大部分坑提前暴露出来。 下面这 12 个策略是实际项目里反复使用 阅读全文

摘要： mmBERT是一个纯编码器架构的语言模型，在1800多种语言、3万亿tokens的文本上完成了预训练。它的架构设计借鉴了ModernBERT，但又加入了不少创新点，比如逆掩码比率调度和逆温度采样。而且研究团队还把1700多种低资源语言放在了衰减阶段加入训练，这个策略带来了相当不错的效果提升，充分利用 阅读全文

摘要： GPU 性能没问题，模型也训练得不错，但 token 吞吐量就是上不去？问题多半出在 KV-cache 上。本文整理了 10 个实际可用的优化方向，都是能直接上生产环境的那种。 https://avoid.overfit.cn/post/321dd7c3c76444b59e97137c23ff696 阅读全文

摘要： GPU 永远不够用，这大概是每个做推理服务的人都有的共识。相比无脑加卡，更实际的办法是把现有资源榨干。下面这些是我在实际项目里反复用到的几个调优手段，有代码、有数据、也有一些踩坑经验。 https://avoid.overfit.cn/post/fe3bc408622e424695dbcc27f0b 阅读全文

摘要： 在充满不确定性的现实世界里，AI的价值不在于预设规则，而在于持续学习和适应 AI Agent这个概念最近被炒得很热，从管理日程的语音助手到仓库里跑来跑去的机器人，大家都在谈论Agent的"自主性"。但是真正让Agent变得intelligent的核心技术，其实是强化学习（Reinforcement 阅读全文

摘要： LLM本质上是无状态的，如果你了解HTTP协议就很好理解这个概念，但是如果你没接触过这，那么可以理解成它们没有短期记忆能力，每次和LLM交互，都得把之前的对话重新喂给它。 短期记忆或者说状态管理其实很好处理，拿几组历史问答塞进prompt就行了。但是如果是长期记忆呢？ 要让LLM准确提取历史信息、理 阅读全文

摘要： 写Python数据处理代码时反复用for循环？这其实是在给程序性能交"税"。NumPy的广播(broadcasting)机制能让你摆脱这种困境——代码量更少，执行更快，关键是思维方式从"逐个迭代"转向"整体形状操作"。掌握这些模式后，你的CPU负载会明显下降。 https://avoid.overf 阅读全文