LoRA原理

合集 - 大模型系列(10)

1.GraphRAG原理及部署实战(GraphRAG系列第一篇)2024-10-292.GraphRAG如何构建知识图谱Knowledge Graph (GraphRAG系列第二篇)2024-10-303.大模型导论2024-10-314.Stable Diffusion技术路线发展历程回顾2024-10-315.多模态相关技术探讨2024-10-316.Sora初探2024-10-317.BERT模型分析2024-10-318.ChatGLM3-6B模型分析2024-10-31

9.LoRA原理2024-10-31

10.QLoRA原理分析2024-10-31

收起

　　图1描述了LoRA微调的原理，即在原模型的基础上，建立一个旁支模型，旁支模型由A和B两个小矩阵构成，且A@B的维度等于原模型的维度。

图1 LoRA原理

　　图1的LoRA原理，也可写成式2的等式，权重W的新状态W’，为图10左路W^FP16与右路A ^FP16@B ^FP16乘积之和，其中W、A、B的上标FP16，意指其矩阵元素的dtype类型是Float16半精度。

 

关注更多安卓开发、AI技术、股票分析技术及个股诊断等理财、生活分享等资讯信息，请关注本人公众号(木圭龙的知识小屋)