训练集、验证集、测试集和交叉验证

1.训练集和测试集

测试集：检验学习到的模型好坏

训练集：用于学习模型

2.训练集、验证集和测试集

问题：当可选择的模型有多个和模型中超参数有多种选择方案时怎么选择？

解决：验证集：从原来的训练集中划一部分用于选择模型和超参数

根据验证集确定的模型和超参数，再使用训练集+验证集一起训练模型的参数

3.交叉验证：样本数量少，验证集无法覆盖所有训练样本的特征分布

（1）K-fold

（2）LOOCV

 

疑问：为啥不可以用验证集确定超参？对得到的模型评估（得到的模型包括超参的确定）更客观（测试集对于整个模型过程都没见过）