2023年10月25日
VeRA: 性能相当，但参数却比LoRA少10倍
摘要： 2022年的LoRA提高了微调效率，它在模型的顶部添加低秩(即小)张量进行微调。模型的参数被冻结。只有添加的张量的参数是可训练的。 与标准微调相比，它大大减少了可训练参数的数量。例如，对于Llama 27b, LoRA通常训练400万到5000万个参数，这比标准微调则训练70亿个参数药效的多。还可以 阅读全文
posted @ 2023-10-25 09:47 deephub 阅读(10) 评论(0) 推荐(0) 编辑