摘要：
TimesFM是一个为时间序列数据量身定制的大型预训练模型——一个无需大量再训练就能提供准确预测的模型。TimesFM有2亿参数，并在1000亿真实世界时间点上进行了训练。可以允许额外的协变量作为特征。 在本文中，我们将介绍模型架构、训练，并进行实际预测案例研究。将对TimesFM的预测能力进行分析 阅读全文
摘要：
在深度学习中，优化模型性能至关重要，特别是对于需要快速执行和实时推断的应用。而PyTorch在平衡动态图执行与高性能方面常常面临挑战。传统的PyTorch优化技术在处理动态计算图时效果有限，导致训练时间延长和模型性能不佳。TorchDynamo是一种为PyTorch设计的即时（JIT）编译器，通过在 阅读全文
摘要：
注意力机制是许多最先进神经网络架构的基本组成部分，比如Transformer模型。注意力机制中的一个关键方面是掩码，它有助于控制信息流，并确保模型适当地处理序列。 在这篇文章中，我们将探索在注意力机制中使用的各种类型的掩码，并在PyTorch中实现它们。 在神经网络中，掩码是一种用于阻止模型使用输入 阅读全文
摘要：
在处理诸如文本之类的序列时，排序信息显然是至关重要的。为了结合排序信息而不是将序列视为集合，对位置信息进行编码是至关重要的。位置编码通过为每个位置分配嵌入向量并将其添加到相应的标记表示来实现这一点。绝对和相对位置编码是最常见的两种位置编码方式，但是本文将要比较更高级的位置编码方法： 1、RoPE 位 阅读全文
摘要：
在这篇文章中，我们将探讨测试和评估异常检测器的问题（这是一个众所周知的难题），并提出了一种解决方案被称为“Doping”方法。使用Doping方法，真实数据行会被（通常是）随机修改，修改的方式是确保它们在某些方面可能成为异常值，这时应该被异常检测器检测到。然后通过评估检测器检测Doping记录的效果 阅读全文
摘要：
训练人工神经网络最重要的挑战之一是灾难性遗忘。神经网络的灾难性遗忘（catastrophic forgetting）是指在神经网络学习新任务时，可能会忘记之前学习的任务。这种现象特别常见于传统的反向传播算法和深度学习模型中。主要原因是网络在学习新数据时，会调整权重以适应新任务，这可能会导致之前学到的 阅读全文
摘要：
在总结文章或回答给定段落的问题时，大语言模型可能会产生幻觉，并会根据给定的上下文回答不准确或未经证实的细节，这也被称为情境幻觉。为了解决这个问题，这篇论文的作者提出了一个简单的幻觉检测模型，其输入特征由上下文的注意力权重与新生成的令牌(每个注意头)的比例给出。它被称为回看或基于回看比率的检测器。 该 阅读全文
摘要：
如果你尝试过像ChatGPT这样的LLM，就会知道它们几乎可以为任何语言或包生成代码。但是仅仅依靠LLM是有局限的。对于数据可视化的问题我们需要提供一下的内容 描述数据:模型本身并不知道数据集的细节，比如列名和行细节。手动提供这些信息可能很麻烦，特别是当数据集变得更大时。如果没有这个上下文，LLM可 阅读全文
摘要：
时间序列分析中包含了许多复杂的数学公式，它们往往难以留存于记忆之中。为了更好地掌握这些内容，本文将整理并总结时间序列分析中的一些核心概念，如自协方差、自相关和平稳性等，并通过Python实现和图形化展示这些概念，使其更加直观易懂。希望通过这篇文章帮助大家更清楚地理解时间序列分析的基础框架和关键点。 阅读全文
摘要：
Python中关于列表的一些很酷的技巧 https://avoid.overfit.cn/post/8b536231aae54d899b519b4474adc2cb 阅读全文