摘要: 大模型高效微调-LoRA原理详解和训练过程深入分析 博客首发于我的知乎,详见:https://zhuanlan.zhihu.com/p/702629428 一、LoRA原理 LoRA(Low-Rank Adaptation of LLMs),即LLMs的低秩适应,是参数高效微调最常用的方法。 LoRA的本质就是用更少的训练参数来近似LLM全参数微调所 阅读全文
posted @ 2024-06-11 21:50 LeonYi 阅读(2764) 评论(0) 推荐(3) 编辑