微调LLM时，full、freeze、lora区别

LLama-Factory支持full、freeze、lora三种微调，区别：
1. Full微调：Full微调是指在微调过程中更新整个模型的所有参数。这意味着所有的层和参数都会被更新，并且在微调期间都会参与训练。Full微调通常用于对模型进行全面的调整，以适应新的任务或领域。

2. Freeze微调：Freeze微调是指在微调过程中冻结（不更新）部分模型的参数。这些被冻结的参数在微调期间将保持不变。通常，我们会选择冻结模型的底层（低级的）部分，而只更新模型的高层（高级的）参数。这样做是因为底层参数包含了一些通用的语言表示，而高层参数则更负责进行特定任务的学习。

3. LORa微调：LORa（Layer-wise Optimal Relevance Adjustment）是一种特定的微调策略。它通过在不同层之间引入可学习的关联系数，来调整模型在每个层级上的相关性。这种方法允许不同层级之间的信息传递和调整，以更好地适应微调任务。LORa微调可以通过在微调过程中训练这些关联系数来实现。

这些微调策略的选择取决于不同的需求和情况。Full微调适用于全面调整模型的情况，而Freeze微调适用于只关注特定任务的情况。LORa微调则提供了一种更加灵活的方式来调整模型在不同层级上的相关性。请根据具体情况选择适合的微调策略。