deephub

摘要： 大语言模型（LLM）通过其参数储存了大量信息，这些信息主要以密集层中线性矩阵变换的权重形式存在。然而，参数规模的扩大必然导致计算成本和能源消耗的显著增加。 这种参数存储方式是否可以通过更高效的键值查找机制来优化？ 尽管此前已有多项相关研究，但在当前 AI 架构规模下的实践尚属首次。 Meta 研究团 阅读全文

摘要： 在进行时间序列分析之前，确定序列的平稳性是一个关键步骤。平稳性指的是时间序列的统计特性（如均值和方差）在时间维度上保持不变。本文将详细介绍如何运用 KPSS 检验和 Dickey-Fuller 检验来验证序列的平稳性。这两种检验方法基于不同的统计假设：KPSS 检验的原假设是数据非平稳，而 Dick 阅读全文

摘要： 金融资产波动率建模在现代金融工程中具有重要地位，其应用涵盖风险管理、衍生品定价和投资组合优化等核心领域。本文着重探讨三种主流波动率建模方法：广义自回归条件异方差模型(GARCH)、Glosten-Jagannathan-Runkle-GARCH模型(GJR-GARCH)以及异质自回归模型(HAR)。 阅读全文

摘要： 状态空间模型通过构建生成可观测数据的潜在未观测状态模型来进行时间序列分析。作为该方法论的核心，卡尔曼滤波为实时估计这些隐状态提供了一个理论完备的解决方案。本文深入探讨这些方法的理论基础和实践应用，阐述其在多领域的适用性。 状态空间模型的理论基础 状态空间模型采用两个基本方程来描述动态系统。状态转移方 阅读全文

摘要： Jupyter Notebooks已成为数据科学家、机器学习工程师和Python开发人员的核心开发工具。其核心优势在于提供了一个集成式环境，支持代码执行、文本编辑和数据可视化的无缝整合。尽管大多数用户熟悉其基本功能，但许多能显著提升工作效率的高级特性往往被忽视。 本文将介绍一些高级功能，帮助您在数据 阅读全文

摘要： 在机器学习领域，训练数据的价值并非均等：部分训练数据点对模型训练的影响显著高于其他数据点。评估单个数据点的影响程度通常需要反复重训练模型，计算效率低下。LossVal提出了一种创新方法，通过将数据价值评估过程直接集成到神经网络的损失函数中，实现了高效的数据价值评估。 现代机器学习模型通常依赖大规模数 阅读全文

摘要： TSFresh（基于可扩展假设检验的时间序列特征提取）是一个专门用于时间序列数据特征自动提取的框架。该框架提取的特征可直接应用于分类、回归和异常检测等机器学习任务。TSFresh通过自动化特征工程流程，显著提升了时间序列分析的效率。 自动化特征提取过程涉及处理数百个统计特征，包括均值、方差、偏度和自 阅读全文

摘要： Coconut（连续思维链）提出了一种新的大语言模型推理范式，该范式在潜在空间中进行运算，利用模型隐藏层生成的连续思维状态取代传统的基于文本的推理方式。系统将这些状态以输入嵌入的形式反馈至模型，通过广度优先搜索方法同时探索多条推理路径，避免了单一路径推理的局限性。通过规避基于自然语言推理的固有效率瓶 阅读全文

摘要： 在现代数据分析领域，时间序列数据的处理和预测一直是一个具有挑战性的问题。随着物联网设备、金融交易系统和工业传感器的普及，我们面临着越来越多的高维时间序列数据。这些数据不仅维度高，而且往往包含复杂的时间依赖关系和潜在模式。传统的时间序列分析方法如移动平均等，在处理此类数据时往往显得力不从心。 基于矩阵 阅读全文

摘要： 超参数优化是深度学习模型开发过程中的一个核心技术难点。合适的超参数组合能够显著提升模型性能，但优化过程往往需要消耗大量计算资源和时间。本文介绍TorchOptimizer，这是一个基于贝叶斯优化方法的超参数优化框架，专门用于优化PyTorch Lightning模型的超参数配置。 TorchOpti 阅读全文