Testing datasets 和 Validation datasets有什么区别?

Testing datasets 和 Validation datasets有什么区别?

参考资料:

https://www.sohu.com/a/159288970_465975

https://blog.csdn.net/Forrest97/article/details/107517977

https://blog.csdn.net/MyArrow/article/details/51504328

1、因为当我们验证模型的时候,测试集好像和验证集实际上并没有多大区别,实际上:验证数据集(validation dataset)是模型训练过程中留出的样本集。它可以用于调整模型的超参数和评估模型的能力。

2、测试数据集(test dataset)不同,虽然同是模型训练过程中留出的样本集,但它是用于评估最终模型的性能,帮助对比多个最终模型并做出选择。


一个很形象的比喻:

image-20221026151142748


  1. 训练数据(Training Set) 用于调整网络的权重(weights)和偏差(biases)。

  2. 验证数据(Validation Set) 验证数据用于最小化过拟合(overfitting)。

    这数据不调整权重和偏差。在基于训练数据调整权重之后,如果基于训练数据的准确度增加了,而基于验证数据的准确度没有增加或反而下降了,则表明过拟合(overfitting)了,需要立即停止训练。

  3. 测试数据(Testing Set) 在训练完成之后,使用测试数据确认网络真正的预测和分类能力。

posted @ 2022-10-27 00:46  bH1pJ  阅读(85)  评论(0编辑  收藏  举报