[数学理论] 训练集\开发集\测试集
训练集:用于训练模型的数据集。
开发集(验证集):在通过训练集获得训练模型后,对训练模型的参数进行调整的数据集。
测试集:用于测试最终生成的模型的数据集。
训练集\开发集\测试集确定:
1.传统的机器学习领域中,由于收集到的数据量往往不多需要将收集到的数据分为三类:训练集、验证集、测试集。也可以分为两类,不需要开发集集。
比例根据经验不同而不同,这里给出一个例子,如果是三类,可能是训练集:验证集:测试集比例为6:2:2;如果是两类,可能是训练集:测试集比例为7:3。因为数据量不多,所以验证集和测试集需要占的数据比例比较多。
2.在大数据时代的机器学习或者深度学习领域中,如果还是按照传统的数据划分方式不是十分合理,因为测试集和验证集用于评估模型和选择模型,所需要的数据量和传统的数据量差不多,但是由于收集到的数据远远大于传统机器学习时代的数据量,所以占的比例也就要缩小。训练集:验证集:测试集比例为98:1:1。如果是两类,也就是相同的道理。
注意:有些人在把数据分类的时候是没有测试集数据,而把实际上的验证集数据叫做测试集数据,这样并不是十分合理,有测试集比较放心,建议把数据分类最好有这个数据集,也就是分为三类数据。但是只要有足够的数据去训练,足够的数据去验证就行了。有时只有训练集和测试集并不是完全不合理。
本文来自博客园,作者:落痕的寒假,转载请注明原文链接:https://www.cnblogs.com/luohenyueji/p/16970360.html
![](https://gitcode.net/LuohenYJ/article_picture_warehouse/-/raw/main/wechat/content/%E5%8A%A0%E6%B2%B9%E9%B8%AD.gif)