使用LORA微调RoBERTa

模型微调是指在一个已经训练好的模型的基础上，针对特定任务或者特定数据集进行再次训练以提高性能的过程。微调可以在使其适应特定任务时产生显着的结果。

RoBERTa（Robustly optimized BERT approach）是由Facebook AI提出的一种基于Transformer架构的预训练语言模型。它是对Google提出的BERT（Bidirectional Encoder Representations from Transformers）模型的改进和优化。

"Low-Rank Adaptation"（低秩自适应）是一种用于模型微调或迁移学习的技术。一般来说我们只是使用LORA来微调大语言模型，但是其实只要是使用了Transformers块的模型，LORA都可以进行微调，本文将介绍如何利用🤗PEFT库，使用LORA提高微调过程的效率。

LORA可以大大减少了可训练参数的数量，节省了训练时间、存储和计算成本，并且可以与其他模型自适应技术(如前缀调优)一起使用，以进一步增强模型。

但是，LORA会引入额外的超参数调优层(特定于LORA的秩、alpha等)。并且在某些情况下，性能不如完全微调的模型最优，这个需要根据不同的需求来进行测试。

 

https://avoid.overfit.cn/post/26e401b70f9840dab185a6a83aac06b0