论文推荐:大语言模型在金融领域的应用调查

这篇论文总结了现有LLM在金融领域的应用现状，推荐和金融相关或者有兴趣的朋友都看看

论文分为2大部分：

1、作者概述了使用llm的现有方法

包括使用零样本或少样本的预训练模型，对特定于领域的数据进行微调，还有从头开始训练定制llm，并给出了关键模型的总结与评价。

2、根据给定的用例、数据约束、计算和性能需求，提出决策框架，指导选择合适的LLM解决方案，这是这篇论文可以好好阅读的地方，因为论文还对在金融领域使用LLM的局限性和挑战提出了一些见解。

论文从总结语言模型架构经历了重大的演变开始:

1、从n-gram模型中，下一个单词的概率完全取决于前面的(n-1)个单词

2、以RNN为基础的模型，如LSTM或GRU，神经网络架构，捕获序列数据中的长期依赖关系。

3、2017年，Transformer架构标志着语言模型的革命，在翻译等任务中表现优于rnn，并且梳理了一些著名模型:

GPT(Generative Pretrained Transformer):一个仅用于编码器的框架，以其在生成连贯文本方面的有效性而闻名。

BERT(Bidirectional Encoder Representations from Transformers):一个仅用于解码器的框架，擅长从文本的两个方向理解上下文。

T5 (Text-to-Text Transfer Transformer):采用编码器和解码器两种结构，拓宽了应用范围,最著名的就是翻译任务。

https://avoid.overfit.cn/post/49595cb2da41438787b404e070ae7f8c