导航

2024年2月27日

QLoRa 低秩分解+权重量化的微调

摘要： QLoRa的核心思想是首先使用低秩分解技术降低参数的数量，然后对这些低秩表示的参数应用量化技术，进一步减少所需的存储空间和计算量。 低秩分解 低秩分解（Low-Rank Factorization）：通过将模型中的权重矩阵分解为更小的矩阵乘积，减少模型中的参数数量。 参看：LoRA 微调和低秩矩阵 阅读全文

posted @ 2024-02-27 09:29 蝈蝈俊 阅读(100) 评论(0) 推荐(0) 编辑