针对特定领域较小的语言模型是否与较大的模型同样有效?

经过2023年的发展，大语言模型展示出了非常大的潜力，训练越来越大的模型成为有效性评估的一个关键指标，论文《A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis》中，作者全面分析了微调大语言模型(llm)及其在金融情绪分析中的零样本和少样本的能力。

作者通过使用两种方法来探索金融情绪分析背景下的潜力和适用性:

• 在特定的领域（金融领域）的数据集上，使用小语言模型进行微调，作者测试了250M到3B参数各种模型
• 以gpt-3.5 turbo为重点的情境学习

作者还将结果与SOTA(最先进的)模型进行比较以评估其性能，我们看看小模型是否还同样有效。

论文证明了以下观点:

• 微调较小的llm可以达到与SOTA微调llm相当的性能。
• 零样本和少样本学习的的性能与经过微调的小型llm相当。
• 增加上下文学习中的样本数量并不一定会提高情感分析任务的性能。
• 微调较小的llm会降低成本和提高计算效率。

作者专注于使用QLoRa (Quantized low - rank - adaptive)机制对FLAN-T5模型进行微调。使用财务特定数据集，研究了3种尺寸:Flan-T5 base (250M)， Flan-T5 large (780M)和Flan-T5-xl (3B参数)。

 

https://avoid.overfit.cn/post/c9d9a74fd94444189283a1b3d31f6b28