LLM-llamafactory使用——工欲善其事必先利其器系列
训练参数问题:
val_size:验证集切分,以dpo为例(研究dpo的原因在于:dpo训练集更庞大,不好控制,验证集应该人工设置,那么模型在验证集上的效果才能反映用户的真实需求;使用val_size方式,eval与train同源,并不总是能很好的反映真实的需求)
运行流程:workflow.py->LLaMA-Factory-main\src\llamafactory\data\utils.py
训练参数问题:
val_size:验证集切分,以dpo为例(研究dpo的原因在于:dpo训练集更庞大,不好控制,验证集应该人工设置,那么模型在验证集上的效果才能反映用户的真实需求;使用val_size方式,eval与train同源,并不总是能很好的反映真实的需求)
运行流程:workflow.py->LLaMA-Factory-main\src\llamafactory\data\utils.py