Testing datasets 和 Validation datasets有什么区别?
Testing datasets 和 Validation datasets有什么区别?
参考资料:
https://www.sohu.com/a/159288970_465975
https://blog.csdn.net/Forrest97/article/details/107517977
https://blog.csdn.net/MyArrow/article/details/51504328
1、因为当我们验证模型的时候,测试集好像和验证集实际上并没有多大区别,实际上:验证数据集(validation dataset)是模型训练过程中留出的样本集。它可以用于调整模型的超参数和评估模型的能力。
2、测试数据集(test dataset)不同,虽然同是模型训练过程中留出的样本集,但它是用于评估最终模型的性能,帮助对比多个最终模型并做出选择。
一个很形象的比喻:
训练数据(Training Set) 用于调整网络的权重(weights)和偏差(biases)。
验证数据(Validation Set) 验证数据用于最小化过拟合(overfitting)。
这数据不调整权重和偏差。在基于训练数据调整权重之后,如果基于训练数据的准确度增加了,而基于验证数据的准确度没有增加或反而下降了,则表明过拟合(overfitting)了,需要立即停止训练。
测试数据(Testing Set) 在训练完成之后,使用测试数据确认网络真正的预测和分类能力。