10 2024 档案

摘要:信息检索增强生成(Retrieval-Augmented Generation,简称RAG)是一种强大的技术,能够显著提升大型语言模型的性能。RAG框架巧妙地结合了基于检索的系统和生成模型的优势,可以生成更加准确、符合上下文、实时更新的响应。随着对先进人工智能解决方案需求的不断增长,GitHub上涌 阅读全文
posted @ 2024-10-31 09:29 deephub 阅读(74) 评论(0) 推荐(0) 编辑
摘要:时间序列数据表示了一个随时间记录的值的序列。理解这些序列内部的关系,尤其是在多元或复杂的时间序列数据中,不仅仅局限于随时间绘制数据点(这并不是说这种做法不好)。通过将时间序列数据转换为图,我们可以揭示数据片段内部隐藏的连接、模式和关系,帮助我们发现平稳性和时间连通性等性质,这就是图论发挥作用的地方。 阅读全文
posted @ 2024-10-30 09:40 deephub 阅读(40) 评论(0) 推荐(0) 编辑
摘要:深度学习实践者都知道,在训练神经网络时,正确设置学习率是使模型达到良好性能的关键因素之一。学习率通常会在训练过程中根据某种调度策略进行动态调整。调度策略的选择对训练质量也有很大影响。 大多数实践者采用一些广泛使用的学习率调度策略,例如阶梯式衰减或余弦退火。这些调度策略中的许多是为特定的基准任务量身定 阅读全文
posted @ 2024-10-28 09:47 deephub 阅读(43) 评论(0) 推荐(0) 编辑
摘要:在现实场景中,收集一个每个类别样本数量完全相同的数据集是十分困难的。实际数据往往是不平衡的,这对于分类模型的训练可能会造成问题。当模型在这样一个不平衡数据集上训练时,由于某个类别的样本数量远多于其他类别,模型通常会更擅长预测样本量较大的类别,而在预测小类别时表现不佳。为了缓解这一问题,我们可以使用过 阅读全文
posted @ 2024-10-27 09:39 deephub 阅读(54) 评论(0) 推荐(0) 编辑
摘要:近年来,大型语言模型(Large Language Models,LLMs)在自然语言处理领域取得了显著进展。受此启发,研究人员开始探索将LLMs应用于时间序列预测任务的可能性。由于时间序列数据与文本数据在特征上存在显著差异,直接将LLMs应用于时间序列预测仍面临诸多挑战。 为了解决这一问题,Jin 阅读全文
posted @ 2024-10-26 09:52 deephub 阅读(101) 评论(0) 推荐(0) 编辑
摘要:在现代信息检索领域,单一检索模型的局限性日益显现。本文深入探讨如何通过多模型集成技术提升检索系统的性能,并详细介绍RAPTOR(Recursive Abstractive Processing for Tree-Organized Retrieval)框架的实现机制。这一研究建立在之前探讨的RAG 阅读全文
posted @ 2024-10-25 09:42 deephub 阅读(29) 评论(0) 推荐(0) 编辑
摘要:在本地环境下对大规模语言模型(LLMs)进行微调时,由于GPU显存限制,采用大批量训练通常难以实现。为解决此问题,一般普遍会采用梯度累积技术来模拟较大的批量规模。该方法不同于传统的每批次更新模型权重的方式,而是通过在多个小批量上累积梯度,在达到预设的累积次数后才执行权重更新。这种方法有效地实现了大批 阅读全文
posted @ 2024-10-24 09:40 deephub 阅读(55) 评论(0) 推荐(0) 编辑
摘要:近年来,随着机器学习技术的进步,深度神经网络已经成为解决时间序列预测问题的主流方法。这反映了学术界和工业界在利用先进技术处理序列数据复杂性方面的持续努力。 自监督学习概述 基本定义 自监督学习是一种创新的学习范式,其特点是模型能够从未标记数据中通过内部生成的监督信号进行学习,通常这种学习通过预文任务 阅读全文
posted @ 2024-10-23 11:36 deephub 阅读(47) 评论(0) 推荐(0) 编辑
摘要:时间序列分析和预测在现代数据科学中扮演着关键角色,广泛应用于金融、经济、气象学和工程等领域。本文将总结11种经典的时间序列预测方法,并提供它们在Python中的实现示例。 这些方法包括: 自回归(AR) 移动平均(MA) 自回归移动平均(ARMA) 自回归积分移动平均(ARIMA) 季节性自回归积分 阅读全文
posted @ 2024-10-22 09:34 deephub 阅读(119) 评论(0) 推荐(0) 编辑
摘要:在深度学习领域,多头注意力机制一直是Transformer模型的核心组成部分,在自然语言处理和计算机视觉任务中取得了巨大成功。然而,研究表明并非所有的注意力头都具有同等重要性,许多注意力头可以在不影响模型精度的情况下被剪枝。基于这一洞察,这篇论文提出了一种名为混合头注意力(Mixture-of-He 阅读全文
posted @ 2024-10-21 09:18 deephub 阅读(83) 评论(0) 推荐(0) 编辑
摘要:空间和时间自相关是数据分析中的两个基本概念,它们揭示了现象在空间和时间维度上的相互依赖关系。这些概念在各个领域都有广泛应用,从环境科学到城市规划,从流行病学到经济学。本文将探讨这些概念的理论基础,并通过一个实际的野火风险预测案例来展示它们的应用。 图1: 空间自相关的不同模式:(a) 负自相关,(b 阅读全文
posted @ 2024-10-20 09:26 deephub 阅读(38) 评论(0) 推荐(0) 编辑
摘要:在机器学习领域,特征工程是提升模型性能的关键步骤。它涉及选择、创建和转换输入变量,以构建最能代表底层问题结构的特征集。然而,在许多实际应用中,仅仅依靠统计相关性进行特征选择可能导致误导性的结果,特别是在我们需要理解因果关系的场景中。 因果推断方法为特征工程提供了一个更深层次的框架,使我们能够区分真正 阅读全文
posted @ 2024-10-19 09:48 deephub 阅读(23) 评论(0) 推荐(0) 编辑
摘要:在实际应用中,我们经常需要从给定的概率密度函数(PDF)中抽取随机样本。这种需求在多个领域都很常见,例如: 估计统计量 进行蒙特卡洛模拟 生成粒子系统用于物理仿真 对于标准概率分布,如均匀分布或高斯分布(正态分布), numpy 和 scipy 生态系统提供了现成的解决方案。通过 numpy.ran 阅读全文
posted @ 2024-10-18 10:14 deephub 阅读(40) 评论(0) 推荐(0) 编辑
摘要:本文探讨了Python脚本与动态模态分解(DMD)的结合应用。我们将利用Python对从OpenFOAM模拟中提取的二维切片数据进行DMD计算。这种方法能够有效地提取隐藏的流动模式,深化对流体动力学现象的理解。 使用开源CFD软件OpenFOAM,有两种方法可以对CFD数据进行DMD计算。第一种方法 阅读全文
posted @ 2024-10-17 09:57 deephub 阅读(51) 评论(0) 推荐(0) 编辑
摘要:在深度学习领域,优化器的选择对模型性能至关重要。虽然PyTorch中的标准优化器如 SGD 、 Adam 和 AdamW 被广泛应用,但它们并非在所有情况下都是最优选择。本文将介绍四种高级优化技术,这些技术在某些任务中可能优于传统方法,特别是在面对复杂优化问题时。 我们将探讨以下算法: 序列最小二乘 阅读全文
posted @ 2024-10-16 09:35 deephub 阅读(59) 评论(0) 推荐(0) 编辑
摘要:在信息论、机器学习和统计学领域中,KL散度(Kullback-Leibler散度)作为一个基础概念,在量化概率分布差异方面发挥着关键作用。它常用于衡量当一个概率分布用于近似另一个概率分布时的信息损失。本文将深入探讨KL散度及其他相关的重要散度概念。 KL散度 KL散度,也称为相对熵,是衡量两个概率分 阅读全文
posted @ 2024-10-15 09:45 deephub 阅读(36) 评论(0) 推荐(0) 编辑
摘要:在数据分析和机器学习领域,从原始数据中提取有价值的信息是一个关键步骤。这个过程不仅有助于辅助决策,还能预测未来趋势。为了实现这一目标,特征工程技术显得尤为重要。 特征工程是将原始数据转化为更具信息量的特征的过程。本文将详细介绍十种基础特征工程技术,包括其基本原理和实现示例。 https://avoi 阅读全文
posted @ 2024-10-14 09:36 deephub 阅读(76) 评论(0) 推荐(0) 编辑
摘要:本文深入探讨Transformer模型中三种关键的注意力机制:自注意力、交叉注意力和因果自注意力。这些机制是GPT-4、Llama等大型语言模型(LLMs)的核心组件。通过理解这些注意力机制,我们可以更好地把握这些模型的工作原理和应用潜力。 我们不仅会讨论理论概念,还将使用Python和PyTorc 阅读全文
posted @ 2024-10-13 09:55 deephub 阅读(82) 评论(0) 推荐(0) 编辑
摘要:引言 多代理强化学习(Multi-Agent Reinforcement Learning, MARL)是强化学习的一个重要分支,它将传统的单代理强化学习概念扩展到多代理环境中。在MARL中,多个代理通过与环境和其他代理的交互来学习最优策略,以在协作或竞争场景中最大化累积奖励。 MAgent中代理之 阅读全文
posted @ 2024-10-12 09:46 deephub 阅读(35) 评论(0) 推荐(0) 编辑
摘要:图像分割与边缘检测是密切相关的计算机视觉任务。以下图1展示了一个海岸线分割模型的输出示例: 图1: 分割掩码到边缘图的转换过程(数据集:LICS) 模型将每个像素分类为陆地或海洋(分割掩码)。随后,海岸线被定义为分类发生变化的像素位置(边缘图)。边缘检测可以通过提取图像分割模型输出的边界来实现。 本 阅读全文
posted @ 2024-10-11 10:03 deephub 阅读(36) 评论(0) 推荐(0) 编辑
摘要:在数据驱动分析领域,从复杂流体流动中提取有意义的模式一直是一个重大挑战。稀疏促进动态模态分解(Sparsity Promoting Dynamic Mode Decomposition, SPDMD)提供了一种有效方法,能够揭示最主要的特征,同时去除冗余信息,从而实现更高效和更具洞察力的分解。这种方 阅读全文
posted @ 2024-10-10 09:53 deephub 阅读(84) 评论(0) 推荐(0) 编辑
摘要:在深度学习和计算机视觉领域,数据增强已成为提高模型性能和泛化能力的关键技术。本文旨在全面介绍当前广泛使用的图像数据增强库,分析其特点和适用场景,以辅助研究人员和开发者选择最适合其需求的工具。 数据增强在深度学习模型训练中扮演着至关重要的角色,其重要性主要体现在以下几个方面: 增加数据多样性:通过对现 阅读全文
posted @ 2024-10-08 09:44 deephub 阅读(64) 评论(0) 推荐(0) 编辑
摘要:时间序列预测是一个具有挑战性的任务,尤其是在处理非平稳数据时。现有的基于正则化的方法虽然在解决分布偏移问题上取得了一定成功但仍存在局限性。这些方法主要在时间域进行操作,可能无法充分捕捉在频域中更明显的动态模式,从而导致次优的结果。 FredNormer论文的研究目的主要包括: 理论分析现有正则化方法 阅读全文
posted @ 2024-10-07 09:38 deephub 阅读(42) 评论(0) 推荐(0) 编辑
摘要:在当前数据驱动的商业环境中,人工智能(AI)和机器学习(ML)已成为各行业决策制定的关键工具。从金融机构的信贷风险预测到医疗保健提供者的疾病诊断,AI模型正在塑造对生活和业务有深远影响的结果。 然而随着这些模型日益复杂化,一个重大挑战浮现:即"黑盒"问题。许多先进的AI模型,尤其是深度学习算法,其运 阅读全文
posted @ 2024-10-06 10:02 deephub 阅读(122) 评论(0) 推荐(0) 编辑
摘要:在当今海量数据时代,有效的信息检索(IR)技术对于从庞大数据集中提取相关信息至关重要。近年来,密集检索技术展现出了相比传统稀疏检索方法更加显著的效果。 现有的方法主要从点式重排序器中蒸馏知识,这些重排序器为文档分配绝对相关性分数,因此在进行比较时面临不一致性的挑战。为解决这一问题,来自国立台湾大学的 阅读全文
posted @ 2024-10-05 20:03 deephub 阅读(15) 评论(0) 推荐(0) 编辑
摘要:随着大型语言模型(LLMs)的迅速普及,如何有效地引导它们生成安全、适合特定应用和目标受众的内容成为一个关键挑战。例如,我们可能希望语言模型在与幼儿园孩子互动时使用不同的语言,或在撰写喜剧小品、提供法律支持或总结新闻文章时采用不同的风格。 目前,最成功的LLM范式是训练一个可用于多种任务的大型自回归 阅读全文
posted @ 2024-10-04 14:01 deephub 阅读(24) 评论(0) 推荐(0) 编辑
摘要:大语言模型(LLMs)在推理任务中,如数学问题求解和编程,已经展现出了优秀的性能。尽管它们能力强大,但在实现能够通过计算和交互来改进其回答的算法方面仍然面临挑战。现有的自我纠错方法要么依赖于提示工程,要么需要使用额外的模型进行微调,但这些方法都有局限性,往往无法产生有意义的自我纠错。 这是谷歌9月发 阅读全文
posted @ 2024-10-03 11:56 deephub 阅读(26) 评论(0) 推荐(0) 编辑
摘要:构建预训练时间序列模型时面临的主要挑战是什么?获取高质量、多样化的时间序列数据。目前构建基础预测模型主要有两种方法: 迁移学习LLM:通过针对时间序列任务定制的微调或分词策略,重新利用预训练的大型语言模型(LLM),如GPT-4或Llama。 从零训练:构建大规模时间序列数据集,并从头开始预训练模型 阅读全文
posted @ 2024-10-02 19:58 deephub 阅读(58) 评论(0) 推荐(0) 编辑
摘要:闭源与开源嵌入模型比较以及提升语义搜索效果的技术探讨 上图为执行语义搜索前的聚类演示 ,嵌入技术是自然语言处理的核心组成部分。虽然嵌入技术的应用范围广泛,但在检索应用中的语义搜索仍是其最常见的用途之一。 https://avoid.overfit.cn/post/38350e175fa0424b8c 阅读全文
posted @ 2024-10-01 10:20 deephub 阅读(26) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示