2024年3月15日
LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
摘要： LoRA可以说是针对特定任务高效训练大型语言模型的重大突破。它被广泛应用于许多应用中。在本文中，我们将解释LoRA本身的基本概念，然后介绍一些以不同的方式改进LoRA的功能的变体，包括LoRA+、VeRA、LoRA- fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA。 Lor 阅读全文
posted @ 2024-03-15 12:13 deephub 阅读(157) 评论(0) 推荐(0) 编辑