2023年4月12日
使用 LoRA 和 Hugging Face 高效训练大语言模型
摘要： 在本文中，我们将展示如何使用 大语言模型低秩适配 (Low-Rank Adaptation of Large Language Models，LoRA) 技术在单 GPU 上微调 110 亿参数的 FLAN-T5 XXL 模型。在此过程中，我们会使用到 Hugging Face 的 Transfor 阅读全文
posted @ 2023-04-12 23:45 HuggingFace 阅读(2467) 评论(0) 推荐(0) 编辑