LongLoRA:不需要大量计算资源的情况下增强了预训练语言模型的上下文能力

麻省理工学院和香港中文大学推出了LongLoRA，这是一种革命性的微调方法，可以在不需要大量计算资源的情况下提高大量预训练语言模型的上下文能力。

LongLoRA是一种新方法，它使改进大型语言计算机程序变得更容易，成本更低。训练LLM往往需要大量信息和花费大量的时间和计算机能力。使用大量数据(上下文长度为8192)进行训练所需的计算机能力是使用较少数据(上下文长度为2048)的16倍。

LongLoRA的研究论文中，作者分享了使这一过程更快、更便宜的两个想法。

https://avoid.overfit.cn/post/7b79c4325ff24114ad634a52d286f4f2

posted @   deephub  阅读(45)  评论(0)  编辑  收藏  举报
相关博文：
· LoRAShear:微软在LLM修剪和知识恢复方面的最新研究
· LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
· LLM面面观之LLM上下文扩展方案
· 【了解LLM】——LoRA
· LoRA 简介
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2022-09-30 贝叶斯回归：使用 PyMC3 实现贝叶斯回归
点击右上角即可分享
微信分享提示