会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
LeonYi
首页
归档
新随笔
博客管理
LeonYi
仰望星空,脚踏实地
博客园
首页
新随笔
联系
订阅
管理
2024年6月11日
大模型高效微调-LoRA原理详解和训练过程深入分析
摘要:
博客首发于我的知乎,详见:https://zhuanlan.zhihu.com/p/702629428 一、LoRA原理 LoRA(Low-Rank Adaptation of LLMs),即LLMs的低秩适应,是参数高效微调最常用的方法。 LoRA的本质就是用更少的训练参数来近似LLM全参数微调所
阅读全文
posted @ 2024-06-11 21:50 LeonYi
阅读(2764)
评论(0)
推荐(3)
编辑
公告