deephub

摘要： 这是微软再5月刚刚发布的一篇论文提出了一种解码器-解码器架构YOCO，因为只缓存一次KV对，所以可以大量的节省内存。 以前的模型都是通过缓存先前计算的键/值向量，可以在当前生成步骤中重用它们。键值(KV)缓存避免了对每个词元再次编码的过程，这样可以大大提高了推理速度。 但是随着词元数量的增加，KV缓 阅读全文

摘要： 图机器学习（Graph Machine Learning，简称Graph ML）是机器学习的一个分支，专注于利用图形结构的数据。在图形结构中，数据以图的形式表示，其中的节点（或顶点）表示实体，边（或链接）表示实体之间的关系。 本篇文章将从基础开始介绍什么是图，我们如何描述和表示它们，以及它们的属性是 阅读全文

摘要： 在机器学习中，L1正则化、L2正则化和Elastic Net正则化是用来避免过拟合的技术，它们通过在损失函数中添加一个惩罚项来实现。 https://avoid.overfit.cn/post/c99ec105e41c4a71a0a1a29735245944 阅读全文

摘要： 这是4月发表的论文《Better & Faster Large Language Models via Multi-token Prediction》，作者们提出了一种创新的多词元预测方法，该方法在提高大型语言模型（LLMs）的样本效率和推理速度方面展示了显著优势。本文将对该论文进行详细的推荐和分析 阅读全文

摘要： 前几天火爆的Kolmogorov-Arnold Networks是具有开创性，目前整个人工智能社区都只关注一件事LLM。我们很少看到有挑战人工智能基本原理的论文了，但这篇论文给了我们新的方向。 mlp或多层感知位于AI架构的最底部，几乎是每个深度学习架构的一部分。而KAN直接挑战了这一基础，并且也挑 阅读全文

摘要： 在深度学习或神经网络中，"循环编码"（Cyclical Encoding）是一种编码技术，其特点是能够捕捉输入或特征中的周期性或循环模式。这种编码方法常用于处理具有周期性行为的任务，比如时间序列预测或理解展示周期性特征的序列。 循环编码的核心思想是将数据的周期性特征转化为网络能够理解的形式。例如，在 阅读全文

摘要： 当使用LSTM进行时间序列预测时，人们容易陷入一个常见的陷阱。为了解释这个问题，我们需要先回顾一下回归器和预测器是如何工作的。预测算法是这样处理时间序列的: 一个回归问题是这样的: 因为LSTM是一个回归量，我们需要把时间序列转换成一个回归问题。有许多方法可以做到这一点，一般使用窗口和多步的方法，但 阅读全文

摘要： 嵌入模型是大型语言模型检索增强生成(RAG)的关键组成部分。它们对知识库和用户编写的查询进行编码。 使用与LLM相同领域的训练或微调的嵌入模型可以显著改进RAG系统。然而，寻找或训练这样的嵌入模型往往是一项困难的任务，因为领域内的数据通常是稀缺的。 但是这篇论文LLM2Vec，可以将任何的LLM转换 阅读全文

摘要： 在时间序列预测领域中，模型的体系结构通常依赖于多层感知器(MLP)或Transformer体系结构。 基于mlp的模型，如N-HiTS, TiDE和TSMixer，可以在保持快速训练的同时获得非常好的预测性能。基于Transformer的模型，如PatchTST和ittransformer也取得了很 阅读全文

摘要： 我们以前的文章中介绍过将知识图谱与RAG结合的示例，在本篇文章中我们将文本和知识图谱结合，来提升我们RAG的性能 https://avoid.overfit.cn/post/5782ca7c4695427b8c0299ad0887c564 阅读全文