摘要：
PyTorch是一个基于python的科学计算包。它的灵活性允许轻松集成新的数据类型和算法，并且框架也是高效和可扩展的，下面我们将介绍一些Pytorch的基本张量操作。 https://avoid.overfit.cn/post/3d344b08f8c1454b869ba222079e4ea7 阅读全文
摘要：
Barnett等人的论文《Seven Failure Points When Engineering a Retrieval Augmented Generation System》介绍了RAG的七个痛点，我们将其延申扩展再补充开发RAG流程中常遇到的另外五个常见问题。并且将深入研究这些RAG痛点的 阅读全文
摘要：
Pandas是我们最常用的数据处理Python库之一。尽管您可能已经与它共事多年，但可能还有许多您尚未探索的实用方法。我将向您展示一些可能未曾听说但在数据整理方面非常实用的方法。 我目前日常使用的是pandas 2.2.0，这是本文时可用的最新版本。 https://avoid.overfit.cn 阅读全文
摘要：
RAG领域已经取得了相当大的发展，这篇论文的是如何分解RAG过程，加入多文件检索、记忆和个人信息等定制化的元素。 大型语言模型(llm)在自然语言任务中表现出色，但在对话系统中的个性化和上下文方面面临挑战。这个研究提出了一个统一的多源检索-增强生成系统(UniMS-RAG)，通过将任务分解为知识来源 阅读全文
摘要：
有多种方法可以提高检索增强生成(RAG)的能力，其中一种方法称为查询扩展。我们这里主要介绍在Langchain中常用的3种方法 查询扩展技术涉及对用户的原始查询进行细化，以生成更全面和信息丰富的搜索。使用扩展后的查询将从向量数据库中获取更多相关文档。 1、Step Back Prompting Ta 阅读全文
摘要：
这篇论文总结了现有LLM在金融领域的应用现状，推荐和金融相关或者有兴趣的朋友都看看 论文分为2大部分： 1、作者概述了使用llm的现有方法 包括使用零样本或少样本的预训练模型，对特定于领域的数据进行微调，还有从头开始训练定制llm，并给出了关键模型的总结与评价。 2、根据给定的用例、数据约束、计算和 阅读全文
摘要：
核模型高斯过程(KMGPs)作为一种复杂的工具可以处理各种数据集的复杂性。他通过核函数来扩展高斯过程的传统概念。本文将深入探讨kmgp的理论基础、实际应用以及它们所面临的挑战。 核模型高斯过程是机器学习和统计学中对传统高斯过程的一种扩展。要理解kmgp，首先掌握高斯过程的基础知识，然后了解核模型是如 阅读全文
摘要：
又到月底了，在月初推荐论文的基础上又整理了10篇推荐阅读的论文 1、MosaicBERT https://mosaicbert.github.io/ 一种用于快速预训练的双向编码器。MosaicBERT是针对快速预训练优化的自定义BERT架构。主要架构修改:FlashAttention, ALiBi 阅读全文
摘要：
时间序列预测是一个经久不衰的主题，受自然语言处理领域的成功启发，transformer模型也在时间序列预测有了很大的发展。本文可以作为学习使用Transformer 模型的时间序列预测的一个起点。 https://avoid.overfit.cn/post/960767b198ac4d9f988fc 阅读全文
摘要：
模型合并是近年来兴起的一种新技术。它允许将多个模型合并成一个模型。这样做不仅可以保持质量，还可以获得额外的好处。 假设我们有几个模型:一个擅长解决数学问题，另一个擅长编写代码。在两种模型之间切换是一个很麻烦的问题，但是我们可以将它们组合起来，利用两者的优点。而且这种组合的方法可以不需要GPU来完成。 阅读全文