deephub

摘要： 时间序列数据的特征工程是一种技术，用于从时间序列数据中提取信息或构造特征，这些特征可用于提高机器学习模型的性能。以下是一些常见的时间序列特征工程技术： 滚动统计量：计算时间窗口内的统计量，如平均值、中位数、标准偏差、最小值和最大值。这些统计量可以捕捉到时间序列在不同时间段的行为变化。 滞后特征：创建 阅读全文

摘要： 关于检索增强生成（RAG）的文章已经有很多了，如果我们能创建出可训练的检索器，或者说整个RAG可以像微调大型语言模型（LLM）那样定制化的话，那肯定能够获得更好的结果。但是当前RAG的问题在于各个子模块之间并没有完全协调，就像一个缝合怪一样，虽然能够工作但各部分并不和谐，所以我们这里介绍RAG 2. 阅读全文

摘要： 这篇文章将演示如何可视化PyTorch激活层。可视化激活，即模型内各层的输出，对于理解深度神经网络如何处理视觉信息至关重要，这有助于诊断模型行为并激发改进。 我们先安装必要的库: https://avoid.overfit.cn/post/c63b9b1130fe425ea5b7d0bedf209b 阅读全文

摘要： 现在有许多方法可以使大型语言模型（LLM）与人类偏好保持一致。以人类反馈为基础的强化学习（RLHF）是最早的方法之一，并促成了ChatGPT的诞生，但RLHF的成本非常高。与RLHF相比，DPO、IPO和KTO的成本明显更低，因为它们不需要奖励模型。 虽然DPO和IPO的成本较低，但它们仍需训练两个 阅读全文

摘要： 在我们周围的各个领域，从分子结构到社交网络，再到城市设计结构，到处都有相互关联的图数据。图神经网络（GNN）作为一种强大的方法，正在用于建模和学习这类数据的空间和图结构。它已经被应用于蛋白质结构和其他分子应用，例如药物发现，以及模拟系统，如社交网络。标准的GNN可以结合来自其他机器学习模型的想法，比 阅读全文

摘要： Moirai 是 Salesforce 开发的用于时间序列预测的基础模型。它被设计为一种通用模型，能够预测广泛的时间序列。为了实现这种灵活性，该模型解决了时间序列数据相关的几个挑战，包括： 处理各种数据频率（小时、日、周等）； 适应任何数量和类型的协变量，无论它们在未来是否已知； 使用灵活的分布生成 阅读全文

摘要： 我们开始看4月的新论文了，这是来自北京大学人工智能研究所、北京大学智能科学与技术学院的研究人员发布的Principal Singular Values and Singular Vectors Adaptation（PiSSA）方法。 PiSSA和LoRA一样，都是基于这样的前提：对模型参数的改变会 阅读全文

摘要： 今天我们来总结以下大型语言模型面试中常问的问题 https://avoid.overfit.cn/post/5cbf407986584cfab3efd5ee3801b697 阅读全文

摘要： 在本篇文章我们将详细讨论推测解码，这是一种可以将LLM推理速度提高约2 - 3倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现，并看看它与原始transformer 实现相比到底能快多少。 推测解码是一种“先推测后验证” (Draft-then-Verify) 的解码算法，涉及并行运行两个 阅读全文

摘要： 本文将介绍大语言模型中使用的不同令牌遮蔽技术，并比较它们的优点，以及使用Pytorch实现以了解它们的底层工作原理。 令牌掩码Token Masking是一种广泛应用于语言模型分类变体和生成模型训练的策略。BERT语言模型首先使用，并被用于许多变体(RoBERTa, ALBERT, DeBERTa… 阅读全文