深度学习中的训练集(training)、验证集(validation)和测试集(test)

目录

• 1、一些说明
• 2、训练集
  • 2.1 作用
  • 2.2 注意事项：
• 3、验证集
  • 3.1 作用
  • 3.2 注意事项
• 4、测试集
  • 4.1 作用
  • 4.2 注意事项

1、一些说明

深度学习的数据集分为训练集、验证集和测试集，但作用是不一样的。其中训练集占的比重应该最大，一般要60%以上。在训练模型时，如果不把数据集进行划分，训练的数据集中掺杂了测试集，或者说用训练集进行测试，那么得出的结论必然是偏差很大的，或者说是不正确的，往往是因为过拟合导致看到的精度不错，但实际上模型很差。
正确的做法应该是：用训练集训练模型，用验证集验证模型，根据情况不断调整超参数，选择出其中最好的模型。再用训练集和验证集数据训练出一个最终的模型，最后用测试集评估最终的模型。

2、训练集

2.1 作用

训练模型参数

2.2 注意事项：

类似于平时学知识的过程。

3、验证集

3.1 作用

调整和选择模型。测试集用来评价模型泛化能力，即之前模型使用验证集确定了超参数，使用训练集调整了参数，最后使用一个从没有见过的数据集来判断这个模型是否Work。

3.2 注意事项

类似于平时写作业、练习，不断得进行调整。

4、测试集

4.1 作用

评估最终的模型

4.2 注意事项

类似于最终的考试，考的题目平时的学习和作业都没见过的，考验学生的真实水平，举一反三的能力。也就是说训练集和验证集中不允许含有测试集，否则像是“作弊”，也会影响到模型的泛化能力。