对训练集、验证集和测试集的一点理解
(以神经网络为例)
数据量较小(1w条以下),一般的划分是,训练集:验证集:测试集=8:1:1(有的地方说是6:2:2??),训练集:测试集=2:1~4:1(总之测试集不要超过30%)
训练集:训练参数,此处的参数是指普通参数,即在神经网络中能够被梯度下降算法所更新的,如权值
验证集:用于调超参数,监控模型是否发生过拟合,能够被多次使用,进行人工调参。此处的超参数,如神经网络中的网络层数、网络节点数、迭代次数、学习率
测试集:评估最终模型泛化能力,被一次使用。