2023年9月13日
Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型
摘要： 大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比较大的模型，经过我的测试，7B的模型可以在3 阅读全文
posted @ 2023-09-13 10:12 deephub 阅读(93) 评论(0) 推荐(0) 编辑