deephub

摘要： 你有没有遇到过，在使用pandas的时候批处理任务跑完了， del df 执行了，甚至还使用了 import gc; gc.collect() 但是进程内存确没有减少。 我们首先就会想到这可能是"pandas 有内存泄漏"，其实这不一定就是泄漏。可能是引用、分配器的正常行为。而且在pandas 3. 阅读全文

摘要： 构建过 AI agent 的人大概都遇到过这种情况：LLM 返回的数据"差不多"是你要的但又不完全对。比如会遇到字段名拼错了数据类型不对，或者干脆多了几个莫名其妙的 key。 这是问题出在哪？当前主流的 agentic AI 系统处理输出的方式太原始了，比如说脆弱的 JSON 解析、基于 promp 阅读全文

摘要： 为什么标准化要把均值设为0、方差设为1？ 先说均值。均值就是平均数，所有观测值加起来除以个数。 μ是均值，n是数据点总数，xᵢ是每个数据点，所以均值就是数据的重心位置。比如均值是20，那20就是平衡点。这不是说所有点到20的距离相等而是说两边的"重量"刚好在20这个位置抵消掉。 而方差衡量的是数据有 阅读全文

摘要： 大语言模型在文本生成和推理上的表现有目共睹，但对于从非结构化文本构建可靠知识图谱这件事，依然是个老大难。这个问题的根源在于：语言模型的运作机制与结构化知识提取的需求之间存在本质性的错位。本文会介绍自动化知识图谱生成的核心难题：生成式模型为什么搞不定结构化提取，判别式方案能提供什么样的替代选择，生产级 阅读全文

摘要： 大语言模型发展到今天，写提示词不仅是个体力活，还是一个技术活。提示词的措辞稍微改一下，性能波动 20-50% 是常有的事。那能不能让 LLM 自己改进提示词呢？ 本文主要讲的就是这个，一个处理复杂推理任务的 Agent，经过几轮自动迭代，准确率从 34% 飙到 97%相对提升 184%。下面是完整的 阅读全文

摘要： Agent 系统发展得这么快那么检索模型还重要吗？RAG 本身都已经衍生出 Agentic RAG和 Self-RAG（这些更复杂的变体了。 答案是肯定的，无论 Agent 方法在效率和推理上做了多少改进，底层还是离不开检索。检索模型越准，需要的迭代调用就越少，时间和成本都能省下来，所以训练好的检索 阅读全文

摘要： 下图展示了一个有趣的现象：在法国斗牛犬的图像上添加一小块对抗性补丁后，VGG分类器竟然以极高的置信度将其判定为足球。Grad-CAM可视化清楚地显示，模型的注意力完全从狗身上转移到了那块补丁——一个精心构造的小扰动就足以劫持整个决策过程。 95%准确率的模型可能不堪一击 ResNet、VGG、Eff 阅读全文

摘要： 时间序列无处不在，心电图上的心跳、股票价格、家庭智能电表读数，甚至句子中词语——这些都是时间序列。它们的特殊之处在于顺序：过去影响未来，相邻的数据点往往高度相关。 现代预测和分类模型很少直接处理原始时间序列值。它们依赖的是特征：用来描述序列形状、变异性、趋势和模式的摘要信息。好的特征能把困难的预测问 阅读全文

摘要： LLM幻觉问题至今没有根治方案。RAG能缓解一部分，但成本高、架构复杂，而且只适用于有外部知识源的场景。而对于模型"应该知道但经常搞错"的那类问题，比如历史事件的时间线、人物履历的细节，RAG帮不上什么忙。 Chain-of-Verification（CoVe）的思路是既然模型会在生成时犯错，那就让 阅读全文

摘要： 本文的目标是解释为什么现代LLM架构在前馈部分使用 SwiGLU 作为激活函数并且已经放弃了 ReLU 神经网络本质上是一系列矩阵乘法，如果我们堆叠线性层而不使用任何激活函数： 无论你堆叠多少层，它仍然只是一个线性变换，网络只能学习线性关系。 激活函数引入了非线性，使网络能够逼近复杂的非线性函数，这 阅读全文