deephub

摘要： 这篇论文总结了现有LLM在金融领域的应用现状，推荐和金融相关或者有兴趣的朋友都看看 论文分为2大部分： 1、作者概述了使用llm的现有方法 包括使用零样本或少样本的预训练模型，对特定于领域的数据进行微调，还有从头开始训练定制llm，并给出了关键模型的总结与评价。 2、根据给定的用例、数据约束、计算和 阅读全文

摘要： 核模型高斯过程(KMGPs)作为一种复杂的工具可以处理各种数据集的复杂性。他通过核函数来扩展高斯过程的传统概念。本文将深入探讨kmgp的理论基础、实际应用以及它们所面临的挑战。 核模型高斯过程是机器学习和统计学中对传统高斯过程的一种扩展。要理解kmgp，首先掌握高斯过程的基础知识，然后了解核模型是如 阅读全文

摘要： 又到月底了，在月初推荐论文的基础上又整理了10篇推荐阅读的论文 1、MosaicBERT https://mosaicbert.github.io/ 一种用于快速预训练的双向编码器。MosaicBERT是针对快速预训练优化的自定义BERT架构。主要架构修改:FlashAttention, ALiBi 阅读全文

摘要： 时间序列预测是一个经久不衰的主题，受自然语言处理领域的成功启发，transformer模型也在时间序列预测有了很大的发展。本文可以作为学习使用Transformer 模型的时间序列预测的一个起点。 https://avoid.overfit.cn/post/960767b198ac4d9f988fc 阅读全文

摘要： 模型合并是近年来兴起的一种新技术。它允许将多个模型合并成一个模型。这样做不仅可以保持质量，还可以获得额外的好处。 假设我们有几个模型:一个擅长解决数学问题，另一个擅长编写代码。在两种模型之间切换是一个很麻烦的问题，但是我们可以将它们组合起来，利用两者的优点。而且这种组合的方法可以不需要GPU来完成。 阅读全文

摘要： 为了提高性能，大型语言模型(llm)通常会通过增加模型大小的方法来实现这个目标，但是模型大小的增加也增加了计算成本和推理延迟，增加了在实际场景中部署和使用llm的障碍。 Mistral AI是一家总部位于巴黎的欧洲公司，一直在研究如何提高模型性能，同时减少为实际用例部署llm所需的计算资源。Mist 阅读全文

摘要： 我们在本地使用大模型的时候，尤其是构建RAG应用的时候，一般会有2个成熟的框架可以使用 LangChain：用开发LLM的通用框架。 LlamaIndex：专门用于构建RAG系统的框架。 选择一个框架是对于项目的后续开发是非常重要的，因为如果后续更换框架是一个非常困难的事情，所以我们这里对这两个框架 阅读全文

摘要： Mamba是LLM的一种新架构，与Transformers等传统模型相比，它能够更有效地处理长序列。就像VIT一样现在已经有人将他应用到了计算机视觉领域，让我们来看看最近的这篇论文“Vision Mamba: Efficient Visual Representation Learning with 阅读全文

摘要： 经过2023年的发展，大语言模型展示出了非常大的潜力，训练越来越大的模型成为有效性评估的一个关键指标，论文《A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment 阅读全文

摘要： https://avoid.overfit.cn/post/3ca961fd21494298aac3aa6df2c3d18a 阅读全文