会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Pengzquan
博客园
首页
新随笔
联系
订阅
管理
2024年2月28日
Lora的微调
摘要: 背景 利用微调的方法对大模型进行微调。目前Lora是高效微调的方法之一。这里记录一下微调的方法和一些博客。 微调方法 Lora的方法是在模型参数外套一个壳,在论文中,作者是对注意力权重Q(K或者V)进行微调。当然也可以对其他网络进行微调例如,MLP(多层感知机)、LayerNorm层微调。 Hugg
阅读全文
posted @ 2024-02-28 21:37 蔚蓝色の天空
阅读(43)
评论(0)
推荐(0)
编辑