2023年12月19日
从头开始实现LoRA以及一些实用技巧
摘要： LoRA是Low-Rank Adaptation或Low-Rank Adaptors的缩写，它提供了一种用于对预先存在的语言模型进行微调的高效且轻量级的方法。 LoRA的主要优点之一是它的效率。通过使用更少的参数，lora显著降低了计算复杂度和内存使用。这使我们能够在消费级gpu上训练大型模型，并将 阅读全文
posted @ 2023-12-19 10:49 deephub 阅读(113) 评论(0) 推荐(0) 编辑