随笔 - 204,  文章 - 0,  评论 - 19,  阅读 - 49万
02 2024 档案
Lora的微调
摘要:背景 利用微调的方法对大模型进行微调。目前Lora是高效微调的方法之一。这里记录一下微调的方法和一些博客。 微调方法 Lora的方法是在模型参数外套一个壳,在论文中,作者是对注意力权重Q(K或者V)进行微调。当然也可以对其他网络进行微调例如,MLP(多层感知机)、LayerNorm层微调。 Hugg 阅读全文
posted @ 2024-02-28 21:37 蔚蓝色の天空 阅读(76) 评论(0) 推荐(0) 编辑

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示